(57)【要約】【課題】動作の評価を支援する。【解決手段】被計測対象者の動作を計測する動作計測システムであって、前記被計測対象者の動作を深度センサで測定することにより前記動作を三次元の点群で表した三次元動作データを作成する三次元動作データ作成手段と、前記三次元動作データ作成手段により作成された前記三次元動作データと、前記動作に関する情報を示す動作情報データとを含む計測データを作成する計測データ作成手段と、前記被計測対象者の前記動作を撮像することにより動画データを作成する動画データ作成手段と、ユーザの操作に応じて、前記計測データ作成手段により作成された前記計測データに基づく前記点群及び前記動作に関する情報と、前記動画データ作成手段により作成された前記動画データに基づく動画とを表示する表示手段と、を有する。【選択図】図２
2018102855.tif 000002
【特許請求の範囲】
【請求項１】
被計測対象者の動作を計測する動作計測システムであって、
前記被計測対象者の動作を深度センサで測定することにより前記動作を三次元の点群で表した三次元動作データを作成する三次元動作データ作成手段と、
前記三次元動作データ作成手段により作成された前記三次元動作データと、前記動作に関する情報を示す動作情報データとを含む計測データを作成する計測データ作成手段と、
前記被計測対象者の前記動作を撮像することにより動画データを作成する動画データ作成手段と、
ユーザの操作に応じて、前記計測データ作成手段により作成された前記計測データに基づく前記点群及び前記動作に関する情報と、前記動画データ作成手段により作成された前記動画データに基づく動画とを表示する表示手段と、
を有する動作計測システム。
【請求項２】
前記三次元動作データ作成手段は、
前記動作を深度センサで測定することにより作成された測定データに含まれる深度情報と、前記深度センサにより予め作成された背景データに含まれる深度情報との差分を算出し、
前記測定データに含まれる深度情報のうち、前記差分が所定の値以下である深度情報を削除することにより、前記三次元動作データを作成する、請求項１に記載の動作計測システム。
【請求項３】
前記動画データ作成手段により作成された前記動画データと、前記動作情報データとに基づいて、前記動画における所定の再生時刻にピンを設定する動画編集手段を有し、
前記表示手段は、
更に、前記再生時刻から前記動画を再生させるための前記ピンを示す表示部品を表示する、請求項１又は２に記載の動作計測システム。
【請求項４】
前記動画編集手段は、
前記動画データと、前記動作情報データとに基づいて、該動作情報データにより示される前記動作に関する情報が所定の条件を満たす前記再生時刻に前記ピンを設定する、請求項３に記載の動作計測システム。
【請求項５】
前記動作は歩行動作であり、
前記計測データ作成手段は、
前記三次元動作データと、前記歩行動作における歩幅、歩数、歩行速度及び歩行中の足上げ角度の少なくとも１つを示す動作情報データとを含む計測データを作成する、請求項１乃至４の何れか一項に記載の動作計測システム。
【請求項６】
被計測対象者の動作を計測する動作計測装置であって、
前記被計測対象者の動作を深度センサで測定することにより前記動作を三次元の点群で表した三次元動作データを作成する三次元動作データ作成手段と、
前記三次元動作データ作成手段により作成された前記三次元動作データと、前記動作に関する情報を示す動作情報データとを含む計測データを作成する計測データ作成手段と、
前記被計測対象者の前記動作を撮像することにより動画データを作成する動画データ作成手段と、
ユーザの操作に応じて、前記計測データ作成手段により作成された前記計測データに基づく前記点群及び前記動作に関する情報と、前記動画データ作成手段により作成された前記動画データに基づく動画とを、前記動作計測装置に接続される表示装置に表示させる表示手段と、
を有する動作計測装置。
【請求項７】
被計測対象者の動作を計測する動作計測システムに用いられる動作計測方法であって、
前記被計測対象者の動作を深度センサで測定することにより前記動作を三次元の点群で表した三次元動作データを作成する三次元動作データ作成手順と、
前記三次元動作データ作成手順により作成された前記三次元動作データと、前記動作に関する情報を示す動作情報データとを含む計測データを作成する計測データ作成手順と、
前記被計測対象者の前記動作を撮像することにより動画データを作成する動画データ作成手順と、
ユーザの操作に応じて、前記計測データ作成手順により作成された前記計測データに基づく前記点群及び前記動作に関する情報と、前記動画データ作成手順により作成された前記動画データに基づく動画とを表示する表示手順と、
を有する動作計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作計測システム、動作計測装置及び動作計測方法に関する。
【背景技術】
【０００２】
例えば介護現場等では、高齢者等の健康増進や機能回復のため、リハビリテーションや機能訓練等の運動療法が行われている。このような運動療法では、例えば理学療法士や介護士等が、高齢者等の歩行動作等を評価した上で、歩行動作等の改善指導等を行うことにより、健康増進や機能回復が図られる。
【０００３】
また、例えばモーションセンサ等を用いて、人の各種動作を計測する技術が知られている。
【０００４】
更に、リハビリテーション業務において、複数の患者のリハビリテーションに伴う各種情報や運動機能データ等、複数の患者の運動機能についての履歴全般を個人単位で管理する技術が知られている（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、運動療法における動作者（例えば、高齢者等）の各種動作を撮像した動画と共に、動作に関する各種情報（例えば、動作者の動作を三次元で表示した情報や歩行動作中の歩幅等）を理学療法士や介護士等に提示することで、動作の容易な評価が期待できる。
【０００６】
本発明の実施の形態は、上記の点に鑑みてなされたもので、動作の評価を支援することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の実施の形態は、被計測対象者の動作を計測する動作計測システムであって、前記被計測対象者の動作を深度センサで測定することにより前記動作を三次元の点群で表した三次元動作データを作成する三次元動作データ作成手段と、前記三次元動作データ作成手段により作成された前記三次元動作データと、前記動作に関する情報を示す動作情報データとを含む計測データを作成する計測データ作成手段と、前記被計測対象者の前記動作を撮像することにより動画データを作成する動画データ作成手段と、ユーザの操作に応じて、前記計測データ作成手段により作成された前記計測データに基づく前記点群及び前記動作に関する情報と、前記動画データ作成手段により作成された前記動画データに基づく動画とを表示する表示手段と、を有する。
【発明の効果】
【０００８】
本発明の実施の形態によれば、動作の評価を支援することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る動作計測システムのシステム構成の一例を示す図である。
【図２】動作計測システムの概略的な処理の一例を説明する図である。
【図３】本実施形態に係る計測装置、サーバ装置及び出力装置のハードウェア構成の一例を示す図である。
【図４】本実施形態に係る動作計測システムの機能構成の一例を示す図である。
【図５】背景データを作成する処理の流れの一例を説明する図である。
【図６】背景データの作成の一例を説明する図である。
【図７】計測開始操作から動画データ及び計測データの格納までの処理の流れの一例を説明する図である。
【図８】計測データを作成する処理の流れの一例を説明する図である。
【図９】歩行範囲データの作成の一例を説明する図である。
【図１０】三次元動作データの作成の一例を説明する図である。
【図１１】計測結果の表示操作から計測結果の表示までの処理の流れの一例を説明する図である。
【図１２】計測結果の指定画面の一例を示す図である。
【図１３】計測結果画面の一例を示す図である。
【図１４】計測結果画面の他の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１１】
＜システム構成＞
まず、本実施形態に係る動作計測システム１のシステム構成について、図１を参照しながら説明する。図１は、本実施形態に係る動作計測システム１のシステム構成の一例を示す図である。
【００１２】
図１に示すように、本実施形態に係る動作計測システム１は、計測装置１０と、サーバ装置２０と、出力装置３０と、測定機器４０とを有する。計測装置１０と、サーバ装置２０と、出力装置３０とは、例えばインターネット等の広域的なネットワークＮを介して通信可能に接続されている。
【００１３】
計測装置１０は、例えばＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末等の情報処理装置である。計測装置１０には、計測プログラム１００がインストールされている。
【００１４】
計測装置１０は、計測プログラム１００により、測定機器４０から撮像データを受信して、受信した撮像データから動画データを作成する。また、計測装置１０は、計測プログラム１００により、測定機器４０から測定データを受信して、受信した測定データから計測データを作成する。更に、計測装置１０は、計測プログラム１００により、撮像データ及び計測データをサーバ装置２０に送信する。
【００１５】
ここで、撮像データとは、計測対象の人（被計測者）の動作等を測定機器４０が撮像することで作成されるデータである。一方、動画データとは、撮像データを所定のコーデックで符号化等した後、所定のフォーマットにすることで作成されるデータである。
【００１６】
また、測定データとは、被計測者の動作等を測定機器４０が測定することで作成されるデータである。一方、計測データとは、被計測者の動作を三次元で表示するためのデータ（三次元動作データ）と、動作中における被計測者の動作情報（例えば、歩数、歩幅、歩行速度及び足上げ角度等）を示すデータ（動作情報データ）とが含まれるデータである。被計測者の動作を三次元で表示するとは、例えば、被計測者の動作を、ＸＹＺ空間内の点群の動きとして表示することである。
【００１７】
サーバ装置２０は、例えばＰＣやワークステーション等の情報処理装置である。サーバ装置２０には、サーバプログラム２００がインストールされている。また、サーバ装置２０は、動画データ記憶部２１０と、計測データ記憶部２２０とを有している。
【００１８】
サーバ装置２０は、サーバプログラム２００により、動画データ及び計測データを計測装置１０から受信する。そして、サーバ装置２０は、サーバプログラム２００により、受信した動画データ及び計測データを、それぞれ動画データ記憶部２１０及び計測データ記憶部２２０に格納する。
【００１９】
また、サーバ装置２０は、出力装置３０からの要求（計測結果の表示要求）に応じて、動画データ記憶部２１０及び計測データ記憶部２２０にそれぞれ記憶されている動画データ及び計測データから表示データを作成した上で、作成した表示データを出力装置３０に送信する。
【００２０】
ここで、表示データとは、被計測者の動作の計測結果を表示するためのデータである。計測結果には、被計測者の動作が表示される動画、被計測者の動作の三次元表示、及び被計測者の動作中における動作情報（例えば、歩幅等）等が含まれる。
【００２１】
出力装置３０は、例えばＰＣ、スマートフォン、タブレット端末等の情報処理装置である。出力装置３０には、出力プログラム３００がインストールされている。
【００２２】
出力装置３０は、出力プログラム３００により、計測結果の表示要求をサーバ装置２０に送信する。また、出力装置３０は、出力プログラム３００により、サーバ装置２０から受信した表示データに基づいて、被計測者の動作等の計測結果を表示する。
【００２３】
これにより、例えば理学療法士や介護士等（以降、「評価者」という。）は、計測結果に基づいて被計測者等の動作等を評価すると共に、当該評価に基づく改善指導等を行うことができるようになる。なお、評価とは、例えば、被計測者の動作（例えば、歩行動作等）の計測結果に基づいて、当該動作の改善要否、姿勢等の改善要否、疾病予防のための生活習慣の改善要否等を判断することである。
【００２４】
測定機器４０は、撮像範囲内における被計測者の動作を撮像する撮像機器４１と、測定範囲内における深度を測定する深度センサ４２とが含まれる深度カメラ等である。測定機器４０は、撮像機器４１により、撮像範囲内における被計測者の動作を撮像して、撮像データを作成する。また、測定機器４０は、深度センサ４２により、測定範囲内における深度を測定して、測定データを作成する。以降では、撮像機器４１の撮像範囲と、深度センサ４２の測定範囲とは、同一の範囲であるものとして説明する。ただし、撮像機器４１の撮像範囲と、深度センサ４２の測定範囲とは異なっていても良い。
【００２５】
本実施形態に係る測定機器４０は、撮像機器４１と、深度センサ４２とが含まれる深度カメラであるものとして説明するが、これに限られず、例えば、撮像機器４１と、深度センサ４２とが別体であっても良い。
【００２６】
なお、以降では、被計測者の動作は、一例として、歩行動作であるものとして説明する。ただし、本実施形態は、歩行動作以外の各種動作（例えば、駆け足動作、椅子への立ち座り動作、片足立ち動作、又はこれらの動作のうちの１以上の動作を組み合わせた複合動作等）にも同様に適用することができる。
【００２７】
＜概略的な処理の説明＞
次に、本実施形態に係る動作計測システム１の概略的な処理について、図２を参照しながら説明する。図２は、動作計測システム１の概略的な処理の一例を説明する図である。
【００２８】
まず、測定機器４０は、歩行動作中の被計測者Ｐを撮像すると共に、測定範囲内の深度を測定して、撮像データ及び測定データを作成する（Ｓ１）。次に、測定機器４０は、作成した撮像データ及び測定データを計測装置１０に送信する（Ｓ２）。
【００２９】
計測装置１０は、撮像データ及び測定データを受信すると、これら撮像データ及び測定データからそれぞれ動画データ及び計測データを作成する（Ｓ３）。
【００３０】
すなわち、計測装置１０は、受信した撮像データを所定のコーデックで符号化等した後、所定のフォーマットにすることで、動画データを作成する。また、計測装置１０は、受信した測定データから三次元動作データ及び動作情報データを作成して、これらの三次元動作データ及び動作情報データを含む計測データを作成する。
【００３１】
次に、計測装置１０は、作成した動画データ及び計測データをサーバ装置２０に送信する（Ｓ４）。
【００３２】
サーバ装置２０は、受信した動画データを動画データ記憶部２１０に記憶させる。また、サーバ装置２０は、受信した計測データを計測データ記憶部２２０に記憶させる。これにより、サーバ装置２０には、被計測者Ｐの動作を撮像及び測定することにより作成された動画データ及び計測データが格納される（Ｓ５）。
【００３３】
ここで、例えば評価者が被計測者Ｐの動作の評価を行う場合、評価者は、出力装置３０を用いて、計測結果の表示操作を行う。出力装置３０は、当該表示操作に応じて、計測結果の表示要求をサーバ装置２０に送信する（Ｓ６）。
【００３４】
サーバ装置２０は、計測結果の表示要求を受信すると、当該表示要求に対応する動画データ及び計測データから表示データを作成する（Ｓ７）。次に、サーバ装置２０は、作成した表示データを出力装置３０に送信する（Ｓ８）。
【００３５】
出力装置３０は、表示データを受信すると、受信した表示データに基づく計測結果画面Ｇ１００を表示する（Ｓ９）。計測結果画面Ｇ１００には、被計測者Ｐの動作を撮像した動画を表示する動画表示欄Ｇ１１０と、動画表示欄Ｇ１１０に表示されている被計測者Ｐの動作を三次元の点群で表した点群Ｑを表示する三次元表示欄Ｇ１２０とが含まれる。このとき、三次元表示欄Ｇ１２０に表示される点群ＱはＸＹＺ空間における点の集まりであるため、例えば評価者の操作に応じて様々な方向から点群Ｑを表示することができる。したがって、様々な方向から点群Ｑの動作を確認することで、例えば評価者は、様々な方向から被計測者Ｐの動作を確認することができる。
【００３６】
また、三次元表示欄Ｇ１２０には、被計測者Ｐの歩行動作中における足跡Ｇ１２１が表示される。これにより、例えば評価者は、被計測者Ｐの歩行動作中における歩幅を確認することができる。
【００３７】
以上により、評価者は、計測結果画面Ｇ１００を参考にして、被計測者Ｐの動作や姿勢等の改善を指導することができる。また、同様に、被計測者Ｐは、計測結果画面Ｇ１００を参考にして、自身の動作や姿勢等の改善を図ることができる。
【００３８】
＜ハードウェア構成＞
次に、本実施形態に係る計測装置１０、サーバ装置２０及び出力装置３０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施形態に係る計測装置１０、サーバ装置２０及び出力装置３０のハードウェア構成の一例を示す図である。なお、計測装置１０、サーバ装置２０及び出力装置３０は、略同様のハードウェア構成を有しているため、以降では、主に、計測装置１０のハードウェア構成について説明する。
【００３９】
図３に示すように、本実施形態に係る計測装置１０は、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４とを有する。また、本実施形態に係る計測装置１０は、ＲＯＭ１５（Read Only Memory）と、ＲＡＭ（Random Access Memory）１６と、ＣＰＵ（Central Processing Unit）１７と、記憶装置１８とを有する。これらの各ハードウェアは、それぞれがバス１９で接続されている。
【００４０】
入力装置１１は、キーボードやマウス、タッチパネル等を含み、ユーザが各種操作を入力するのに用いられる。表示装置１２は、ディスプレイ等を含み、計測装置１０による処理結果を表示する。なお、サーバ装置２０は、入力装置１１及び表示装置１２の少なくとも一方を必要なときにバス１９に接続して利用する形態であっても良い。
【００４１】
外部Ｉ／Ｆ１３は、外部装置とのインタフェースである。外部装置には、記録媒体１３ａ等がある。これにより、計測装置１０は、外部Ｉ／Ｆ１３を介して、記録媒体１３ａ等の読み取りや書き込みを行うことができる。記録媒体１３ａには、例えば、フレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリ等がある。
【００４２】
通信Ｉ／Ｆ１４は、計測装置１０をネットワークＮに接続するためのインタフェースである。これにより、計測装置１０は、通信Ｉ／Ｆ１４を介して、他の装置（サーバ装置２０等）と通信を行うことができる。
【００４３】
記憶装置１８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性のメモリであり、プログラムやデータを格納している。記憶装置１８に格納されるプログラムやデータには、計測装置１０全体を制御する基本ソフトウェアであるＯＳ（Operating System）、ＯＳ上において各種機能を提供するアプリケーションプログラム、計測プログラム１００等がある。なお、サーバ装置２０の記憶装置１８には、サーバプログラム２００が格納される。同様に、出力装置３０の記憶装置１８には、出力プログラム３００が格納される。
【００４４】
記憶装置１８は、格納しているプログラムやデータを所定のファイルシステム及び／又はＤＢ（データベース）により管理している。
【００４５】
ＲＯＭ１５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ１５には、計測装置１０の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ１６は、プログラムやデータを一時保持する揮発性の半導体メモリである。
【００４６】
ＣＰＵ１７は、ＲＯＭ１５や記憶装置１８等からプログラムやデータをＲＡＭ１６上に読み出し、処理を実行することで、計測装置１０全体の制御や機能を実現する演算装置である。
【００４７】
本実施形態に係る計測装置１０、サーバ装置２０及び出力装置３０は、図３に示すハードウェア構成を有することにより、後述するような各種処理を実現できる。
【００４８】
＜機能構成＞
次に、本実施形態に係る動作計測システム１の機能構成について、図４を参照しながら説明する。図４は、本実施形態に係る動作計測システム１の機能構成の一例を示す図である。
【００４９】
≪計測装置１０≫
図４に示すように、本実施形態に係る計測装置１０は、入力受付部１０１と、測定制御部１０２と、通信部１０３と、背景データ作成部１０４と、計測データ作成処理部１０５と、動画データ作成部１０６と、データ管理部１０７とを有する。これら各機能部は、計測装置１０にインストールされた計測プログラム１００が、ＣＰＵ１７に実行させる処理により実現される。
【００５０】
また、本実施形態に係る計測装置１０は、背景データ記憶部１１０と、一時記憶部１２０とを有する。これら各記憶部は、例えば記憶装置１８を用いて実現可能である。
【００５１】
入力受付部１０１は、ユーザ（例えば評価者等）による各種操作の入力を受け付ける。すなわち、入力受付部１０１は、被計測者の動作の測定を開始及び終了するための計測開始操作及び計測終了操作等の入力を受け付ける。また、入力受付部１０１は、被計測者が動作を開始する前（被計測者が測定機器４０の撮像範囲内及び測定範囲内に入る前）に、後述する背景データを作成するための背景データの作成操作の入力を受け付ける。
【００５２】
測定制御部１０２は、ユーザの操作に応じて、測定機器４０の撮像開始及び撮像終了と、測定機器４０の測定開始及び測定終了とを制御する。すなわち、測定制御部１０２は、計測開始操作に応じて、測定機器４０の撮像開始及び測定開始を制御する。また、測定制御部１０２は、計測終了操作に応じて、測定機器４０の撮像終了及び測定終了を制御する。更に、測定制御部１０２は、背景データの作成操作に応じて、測定機器４０の測定開始及び測定終了を制御する。
【００５３】
通信部１０３は、サーバ装置２０及び測定機器４０との間で、各種データの通信を行う。すなわち、通信部１０３は、撮像データ及び測定データを測定機器４０から受信する。また、通信部１０３は、動画データ作成部１０６により作成された動画データと、計測データ作成処理部１０５により作成された計測データとをサーバ装置２０に送信する。
【００５４】
背景データ作成部１０４は、被計測者が動作を開始する前（被計測者が測定機器４０の撮像範囲内及び測定範囲内に入る前）に、通信部１０３により受信された測定データから背景データを作成する。ここで、背景データとは、被計測者が動作を行う場所の深度（すなわち、被計測者の動作中の背景となる場所の深度）を測定して、測定した深度の値（深度情報）を平滑化することで作成されるデータである。
【００５５】
計測データ作成処理部１０５は、三次元動作データと、動作情報データを含む計測データを作成する処理を行う。ここで、計測データ作成処理部１０５は、歩行範囲データ作成部１３１と、三次元動作データ作成部１３２と、動作情報データ作成部１３３と、計測データ作成部１３４とを有する。
【００５６】
歩行範囲データ作成部１３１は、背景データ作成部１０４により作成された背景データから歩行範囲データを作成する。歩行範囲データとは、被計測者が歩行動作を行う床（歩行レーン）を背景データから特定して、特定した歩行レーンを含む所定の範囲を背景データから切り出す（トリミング）ことで作成されるデータである。
【００５７】
三次元動作データ作成部１３２は、歩行範囲データ作成部１３１により作成された歩行範囲データと、被計測者の動作中における測定データとに基づいて、当該被計測者の動作を三次元の点群で表した三次元動作データを作成する。
【００５８】
動作情報データ作成部１３３は、三次元動作データや歩行範囲データ等から被計測者の動作情報（例えば、歩数、歩幅、歩行速度及び足上げ角度等）を示す動作情報データを作成する。
【００５９】
計測データ作成部１３４は、三次元動作データ作成部１３２により作成された三次元動作データと、動作情報データ作成部１３３により作成された動作情報データとを含む計測データを作成する。
【００６０】
動画データ作成部１０６は、撮像データから動画データを作成する。すなわち、動画データ作成部１０６は、撮像データを所定のコーデックで符号化等した後、所定のフォーマットにすることで、動画データを作成する。
【００６１】
データ管理部１０７は、背景データ記憶部１１０及び一時記憶部１２０を管理する。すなわち、データ管理部１０７は、背景データ作成部１０４により作成された背景データを背景データ記憶部１１０に格納する。また、データ管理部１０７は、通信部１０３により受信された撮像データ及び測定データを一時記憶部１２０に格納する。
【００６２】
背景データ記憶部１１０は、背景データ作成部１０４により作成された背景データを記憶する。一時記憶部１２０は、被計測者の動作中に、通信部１０３により受信された撮像データ及び測定データを記憶する。
【００６３】
≪サーバ装置２０≫
図４に示すように、本実施形態に係るサーバ装置２０は、通信部２０１と、データ管理部２０２と、動画データ編集部２０３と、表示データ作成部２０４とを有する。これら各機能部は、サーバ装置２０にインストールされたサーバプログラム２００が、ＣＰＵ１７に実行させる処理により実現される。
【００６４】
また、本実施形態に係るサーバ装置２０は、動画データ記憶部２１０と、計測データ記憶部２２０とを有する。これら各記憶部は、例えば記憶装置１８を用いて実現可能である。なお、これら各記憶部のうちの少なくともの１つの記憶部が、サーバ装置２０とネットワークＮを介して接続される記憶装置等を用いて実現されていても良い。
【００６５】
通信部２０１は、計測装置１０及び出力装置３０との間で、各種データの通信を行う。すなわち、通信部２０１は、動画データ及び計測データ等を計測装置１０から受信する。また、通信部２０１は、出力装置３０からの要求（計測結果の表示要求）を受信する。更に、通信部２０１は、表示データ作成部２０４により作成された表示データを出力装置３０に送信する。なお、計測結果の表示要求には、例えば、被計測者を計測した日付、被計測者を識別する識別情報（被計測者ＩＤ）、動画に付与するピンの条件等が含まれる。動画にピンが付与されることで、評価者等は、ピンが示す位置（すなわち、ピンが示す動画の再生時刻）から動画を再生することができる。
【００６６】
データ管理部２０２は、動画データ記憶部２１０及び計測データ記憶部２２０を管理する。すなわち、データ管理部２０２は、通信部２０１により受信された動画データを動画データ記憶部２１０に格納する。同様に、データ管理部２０２は、通信部２０１により受信された計測データを計測データ記憶部２２０に格納する。
【００６７】
また、データ管理部２０２は、動画データ記憶部２１０から動画データを取得する。同様に、データ管理部２０２は、計測データ記憶部２２０から計測データを取得する。
【００６８】
動画データ編集部２０３は、計測結果の表示要求に含まれるピン条件に応じて、データ管理部２０２により取得された動画データに付与するピンの位置を算出する。そして、動画データ編集部２０３は、算出した位置にピンを動画データに付与することで、動画データを編集する。
【００６９】
表示データ作成部２０４は、動画データ編集部２０３により編集された動画データと、データ管理部２０２により取得された計測データとに基づいて、表示データを作成する。
【００７０】
動画データ記憶部２１０は、通信部２０１により受信された動画データを記憶する。計測データ記憶部２２０は、通信部２０１により受信された計測データを記憶する。
【００７１】
≪出力装置３０≫
図４に示すように、本実施形態に係る出力装置３０は、入力受付部３０１と、表示制御部３０２と、通信部３０３と、表示要求部３０４とを有する。これら各機能部は、出力装置３０にインストールされた出力プログラム３００が、ＣＰＵ１７に実行させる処理により実現される。
【００７２】
入力受付部３０１は、ユーザ（例えば評価者や被計測者等）による各種操作の入力を受け付ける。すなわち、入力受付部３０１は、計測結果を表示するための操作（計測結果の表示操作）の入力を受け付ける。
【００７３】
表示制御部３０２は、各種画面を表示する。すなわち、表示制御部３０２は、通信部３０３により受信された表示データに基づいて、被計測者の動作の計測結果を示す計測結果画面を表示する。
【００７４】
通信部３０３は、サーバ装置２０との間で、各種データの通信を行う。すなわち、通信部３０３は、表示要求部３０４により作成された計測結果の表示要求をサーバ装置２０に送信する。また、通信部３０３は、表示データをサーバ装置２０から受信する。
【００７５】
表示要求部３０４は、入力受付部３０１により計測結果の表示操作の入力が受け付けられると、計測結果の表示要求を作成する。
【００７６】
＜処理の詳細＞
次に、本実施形態に係る動作計測システム１の処理の詳細について説明する。
【００７７】
≪背景データを作成する処理≫
まず、被計測者が動作を開始する前に、背景データを作成する処理について、図５を参照しながら説明する。図５は、背景データを作成する処理の流れの一例を説明する図である。
【００７８】
まず、計測装置１０の入力受付部１０１は、背景データの作成操作の入力を受け付ける（ステップＳ５０１）。なお、背景データの作成操作は、評価者又は被計測者のいずれにより行われても良いし、評価者及び被計測者と異なる第三者により行われても良い。
【００７９】
計測装置１０の測定制御部１０２は、入力受付部１０１により背景データの作成操作の入力が受け付けられると、測定機器４０の測定開始を制御する（ステップＳ５０２）。これにより、測定機器４０は、深度センサ４２により測定範囲内（すなわち、撮像機器４１の撮像範囲内）における深度の測定を開始して、フレームレートの逆数毎に、測定データを作成する。
【００８０】
次に、計測装置１０の通信部１０３は、測定機器４０により作成された測定データを受信する（ステップＳ５０３）。
【００８１】
計測装置１０の測定制御部１０２は、測定機器４０の測定終了を制御する（ステップＳ５０４）。これにより、測定機器４０は、深度センサ４２による深度の測定を終了する。なお、測定制御部１０２は、例えば、測定を開始してから所定の時間が経過した場合に、測定機器４０の測定終了を制御すれば良い。また、測定制御部１０２は、ユーザによる測定終了操作に応じて、測定機器４０の測定終了を制御しても良い。
【００８２】
次に、計測装置１０の背景データ作成部１０４は、通信部１０３により受信された測定データから背景データを作成する（ステップＳ５０５）。
【００８３】
ここで、背景データの作成の一例について、図６を参照しながら説明する。図６は、背景データの作成の一例を説明する図である。
【００８４】
図６に示す例では、解像度が２９×１３、深度の測定範囲が０ｍｍ〜８０００ｍｍ、フレームレート（ＦＰＳ：Frames Per Second）が１／Ｔである深度センサ４２が測定時刻ｔ＝Ｔ，２Ｔ，３Ｔにおける測定範囲Ｒ１００の深度を測定する場合について説明する。この場合、上記のステップＳ５０３において、計測装置１０の通信部１０３は、測定時刻ｔ＝Ｔに測定された測定データＤ１０１と、測定時刻ｔ＝２Ｔに測定された測定データＤ１０２と、測定時刻ｔ＝３Ｔに測定された測定データＤ１０３とを受信する。
【００８５】
測定範囲Ｒ１００の中心を原点として、鉛直方向にＸ軸、水平方向にＹ軸、測定された深度の値（深度情報）をＺ軸とすることで、各測定データＤ１０１〜Ｄ１０３は、（Ｘ，Ｙ，Ｚ）、（−１４≦Ｘ≦１４，−６≦Ｙ≦６，０≦Ｚ≦８０００）で表すことができる。
【００８６】
したがって、背景データ作成部１０４は、各測定データＤ１０１〜Ｄ１０３の各Ｘ及びＹについて深度情報（Ｚ）を平滑化することで、背景データＤ１００を作成する。
【００８７】
すなわち、例えば、Ｘ＝Ｎ（−１４≦Ｎ≦１４）及びＹ＝Ｍ（−６≦Ｍ≦６）における各測定データＤ１０１〜Ｄ１０３の深度情報をそれぞれＺ１（Ｎ，Ｍ），Ｚ２（Ｎ，Ｍ），Ｚ３（Ｎ，Ｍ）とする。この場合、背景データ作成部１０４は、これらＺ１（Ｎ，Ｍ），Ｚ２（Ｎ，Ｍ），Ｚ３（Ｎ，Ｍ）の平均値を、Ｘ＝Ｎ及びＹ＝Ｍにおける背景データＤ１００の深度情報Ｚ（Ｎ，Ｍ）とする。
【００８８】
なお、背景データ作成部１０４は、例えば、深度情報Ｚ１（Ｎ，Ｍ），Ｚ２（Ｎ，Ｍ），Ｚ３（Ｎ，Ｍ）のうち、他の深度情報との差が所定の閾値以上である深度情報（すなわち、他の深度情報との乖離が大きい深度情報）を除いた上で、平均値を算出しても良い。
【００８９】
図５に戻る。ステップＳ５０５に続いて、計測装置１０のデータ管理部１０７は、背景データ作成部１０４により作成された背景データを背景データ記憶部１１０に格納する（ステップＳ５０６）。
【００９０】
以上により、被計測者が動作を開始する前に、当該動作を行う場所の深度を示す背景データが作成され、背景データ記憶部１１０に格納される。
【００９１】
≪計測開始操作から動画データ及び計測データの格納までの処理≫
次に、被計測者の動作を計測して、動画データ及び計測データをサーバ装置２０に格納する処理について、図７を参照しながら説明する。図７は、計測開始操作から動画データ及び計測データの格納までの処理の流れの一例を説明する図である。
【００９２】
まず、計測装置１０の入力受付部１０１は、被計測者の動作の測定を開始するための計測開始操作の入力を受け付ける（ステップＳ７０１）。計測開始操作では、被計測者を識別する被計測者ＩＤが指定される。なお、計測開始操作は、評価者又は被計測者のいずれにより行われても良いし、評価者及び被計測者と異なる第三者により行われても良い。
【００９３】
計測装置１０の測定制御部１０２は、入力受付部１０１により計測開始操作の入力が受け付けられると、測定機器４０の撮像開始及び測定開始を制御する（ステップＳ７０２）。これにより、測定機器４０は、撮像機器４１により撮像範囲内の撮像を開始すると共に、深度センサ４２により測定範囲内における深度の測定を開始して、フレームレートの逆数毎に、撮像データ及び測定データを作成する。以降では、撮像機器４１のフレームレートと、深度センサ４２のフレームレートとは同一であるものとして説明するが、これらのフレームレートは異なっていても良い。
【００９４】
次に、計測装置１０の通信部１０３は、測定機器４０により作成された撮像データ及び測定データを受信する（ステップＳ７０３）。
【００９５】
次に、計測装置１０のデータ管理部１０７は、通信部１０３により受信された撮像データ及び測定データを一時記憶部１２０に格納する（ステップＳ７０４）。これにより、被計測者が動作を行っている間、測定機器４０により作成された撮像データ及び測定データが一時記憶部１２０に格納される。
【００９６】
ここで、計測装置１０のユーザは、被計測者の動作の測定を終了するための計測終了操作を行ったものとする。すると、計測装置１０の入力受付部１０１は、当該計測終了操作の入力を受け付ける（ステップＳ７０５）。
【００９７】
計測装置１０の測定制御部１０２は、入力受付部１０１により計測終了操作の入力が受け付けられると、測定機器４０の撮像終了及び測定終了を制御する（ステップＳ７０６）。これにより、測定機器４０は、撮像機器４１による撮像を終了すると共に、深度センサ４２による深度の測定を終了する。
【００９８】
次に、計測装置１０の動画データ作成部１０６は、一時記憶部１２０に記憶されている撮像データから動画データを作成する（ステップＳ７０７）。すなわち、まず、動画データ作成部１０６は、データ管理部１０７により、一時記憶部１２０から撮像データを取得する。そして、動画データ作成部１０６は、取得された撮像データを所定のコーデックで符号化等した後、所定のフォーマットにすることで、動画データを作成する。なお、動画データ作成部１０６により動画データが作成された後、データ管理部１０７は、一時記憶部１２０に記憶されている撮像データを削除しても良い。
【００９９】
次に、計測装置１０の計測データ作成処理部１０５は、背景データ記憶部１１０に記憶されている背景データと、一時記憶部１２０に記憶されている測定データとに基づいて、三次元動作データと、動作情報データとを含む計測データを作成する（ステップＳ７０８）。計測データを作成する処理の詳細については後述する。なお、計測データ作成処理部１０５により計測データが作成された後、データ管理部１０７は、一時記憶部１２０に記憶されている測定データを削除しても良い。
【０１００】
次に、計測装置１０の通信部１０３は、動画データ作成部１０６により作成された動画データと、計測データ作成処理部１０５により作成された計測データと、計測開始操作で指定された被計測者ＩＤとをサーバ装置２０に送信する（ステップＳ７０９）。
【０１０１】
サーバ装置２０の通信部２０１は、動画データと、計測データと、被計測者ＩＤとを計測装置１０から受信する（ステップＳ７１０）。
【０１０２】
次に、サーバ装置２０のデータ管理部２０２は、通信部２０１により受信された動画データと被計測者ＩＤとを、現在の日付（被計測者の動作が計測された日付）と関連付けて動画データ記憶部２１０に格納する。また、データ管理部２０２は、通信部２０１により受信された計測データと被計測者ＩＤとを、現在の日付と関連付けて計測データ記憶部２２０に格納する（ステップＳ７１１）。
【０１０３】
以上により、被計測者の動作を撮像及び測定することで作成された動画データ及び計測データが、被計測者ＩＤ及び日付と関連付けて動画データ記憶部２１０及び計測データ記憶部２２０に格納される。
【０１０４】
≪計測データを作成する処理≫
次に、図７のステップＳ７０８における計測データを作成する処理の詳細について、図８を参照しながら説明する。図８は、計測データを作成する処理の流れの一例を説明する図である。
【０１０５】
まず、データ管理部１０７は、背景データ記憶部１１０から背景データを取得する（ステップＳ８０１）。
【０１０６】
次に、歩行範囲データ作成部１３１は、データ管理部１０７により取得された背景データから歩行レーンを特定し、特定した歩行レーンを含む所定の範囲を背景データから切り出すことで、歩行範囲データを作成する（ステップＳ８０２）。
【０１０７】
ここで、歩行範囲データの作成の一例について、図９を参照しながら説明する。図９は、歩行範囲データの作成の一例を説明する図である。
【０１０８】
まず、図９（ａ）に示すように、歩行範囲データ作成部１３１は、背景データＤ１００における直線Ｘ＝０の下方（例えば、直線Ｘ＝０の下方３分１の範囲）にある深度情報と、当該深度情報に隣接する深度情報とを取得する。なお、隣接する深度情報とは、直線Ｘ＝０上にある深度情報のＸ座標の値を＋１した位置にある深度情報と、直線Ｘ＝０上にある深度情報のＸ座標の値を−１した位置にある深度情報とである。
【０１０９】
以降では、歩行範囲データ作成部１３１は、背景データＤ１００の座標（０，Ｙ１）の深度情報Ｚ０１と、当該深度情報Ｚ０１に隣接する深度情報Ｚ１１及びＺ２１とを取得したものとする。同様に、歩行範囲データ作成部１３１は、座標（０，Ｙ２）の深度情報Ｚ０２と、当該深度情報Ｚ０２に隣接する深度情報Ｚ１２及びＺ２２と、座標（０，Ｙ３＝−６）の深度情報Ｚ０３と、当該深度情報Ｚ０３に隣接する深度情報Ｚ１３及びＺ２３とを取得したものとする。
【０１１０】
次に、図９（ｂ）に示すように、歩行範囲データ作成部１３１は、直線Ｘ＝０上にある深度情報と、当該深度情報に隣接する深度情報とを平滑化する。すなわち、歩行範囲データ作成部１３１は、背景データＤ１００の座標（０，Ｙ１）における深度情報をＺａとして、Ｚａ＝（Ｚ０１＋Ｚ１１＋Ｚ２１）／３とする。同様に、歩行範囲データ作成部１３１は、背景データＤ１００の座標（０，Ｙ２）における深度情報をＺｂとして、Ｚｂ＝（Ｚ０２＋Ｚ１２＋Ｚ２２）／３とする。また、同様に、歩行範囲データ作成部１３１は、背景データＤ１００の座標（０，Ｙ３）における深度情報をＺｃとして、Ｚｃ＝（Ｚ０３＋Ｚ１３＋Ｚ２３）／３とする。
【０１１１】
次に、図９（ｃ）に示すように、歩行範囲データ作成部１３１は、直線Ｘ＝０上にある深度情報同士の傾きを算出して、平滑化する。すなわち、歩行範囲データ作成部１３１は、深度情報ＺｃとＺｂとの傾きをａ１として、ａ１＝（（Ｙ２−Ｙ３）／（Ｚｂ−Ｚｃ））とする。同様に、深度情報ＺｂとＺａとの傾きをａ２として、ａ２＝（（Ｙ１−Ｙ２）／（Ｚａ―Ｚｂ））とする。そして、歩行範囲データ作成部１３１は、傾きａ１とａ２との平均値を、平滑化後の傾きａとする。
【０１１２】
次に、図９（ｄ）に示すように、歩行範囲データ作成部１３１は、背景データＤ１００の最下部の深度情報の座標（すなわち、座標（Ｘ，−６）、−１４≦Ｘ≦１４）を通り、傾きがａの面を、被計測者が歩行動作を行う歩行レーンＬと特定する。
【０１１３】
次に、図９（ｅ）に示すように、歩行範囲データ作成部１３１は、被計測者が歩行動作を行わない範囲（すなわち、歩行レーンＬ上でない範囲）を削除することで、歩行範囲データＤ１１０を作成する。言い換えれば、歩行範囲データ作成部１３１は、背景データＤ１００から歩行レーンＬ上の範囲をトリミングすることで、歩行範囲データＤ１１０を作成する。これにより、歩行レーンＬを含む歩行範囲データＤ１１０が作成される。
【０１１４】
図８に戻る。ステップＳ８０２に続いて、データ管理部１０７は、一時記憶部１２０から測定データを１件取得する（ステップＳ８０３）。
【０１１５】
次に、三次元動作データ作成部１３２は、データ管理部１０７により取得された測定データのうち、歩行範囲データ作成部１３１により作成された歩行範囲データとＸ座標及びＹ座標が同一である範囲をトリミングする（ステップＳ８０４）。
【０１１６】
すなわち、例えば、測定データのＸ座標及びＹ座標の範囲が−１４≦Ｘ≦１４及び−６≦Ｙ≦６であり、歩行範囲データのＸ座標及びＹ座標の範囲が−８≦Ｘ≦１４及び−６≦Ｙ≦６であるとする。この場合、三次元動作データ作成部１３２は、測定データのＸ座標及びＹ座標が−１４≦Ｘ≦−９及び−６≦Ｙ≦６の範囲を削除することで、トリミングを行う。
【０１１７】
次に、三次元動作データ作成部１３２は、トリミングされた測定データと、歩行範囲データとから被計測者を示す点群を特定して、三次元動作データを作成する（ステップＳ８０５）。
【０１１８】
ここで、三次元動作データの作成の一例について、図１０を参照しながら説明する。図１０は、三次元動作データの作成の一例を説明する図である。
【０１１９】
図１０に示すように、三次元動作データ作成部１３２は、トリミングされた測定データＤ２００の各座標における深度情報から、歩行範囲データＤ１１０の当該座標における深度情報を減算する。そして、三次元動作データ作成部１３２は、減算結果が所定の閾値以下である座標の深度情報を測定データＤ２００から削除することで、三次元動作データＤ３００を作成する。これにより、三次元動作データ作成部１３２は、深度センサ４２のフレームレートの逆数毎に、被計測者を示す点群である三次元動作データＤ３００を作成することができる。
【０１２０】
図８に戻る。データ管理部１０７は、次の測定データが一時記憶部１２０に記憶されているか否かを判定する（ステップＳ８０６）。すなわち、データ管理部１０７は、未だ取得していない測定データが一時記憶部１２０に記憶されているか否かを判定する。
【０１２１】
ステップＳ８０５において、次の測定データが一時記憶部１２０に記憶されていると判定された場合、データ管理部１０７は、当該次の測定データを一時記憶部１２０から取得する（ステップＳ８０７）。そして、計測データ作成処理部１０５は、ステップＳ８０４以降の処理を実行する。これにより、測定データ毎に、三次元動作データが作成される。
【０１２２】
一方、ステップＳ８０５において、次の測定データが一時記憶部１２０に記憶されていないと判定された場合、動作情報データ作成部１３３は、例えば歩数、歩幅、歩行速度及び足上げ角度等の動作情報を算出する。そして、動作情報データ作成部１３３は、算出した動作情報を示す動作情報データを作成する（ステップＳ８０８）。
【０１２３】
ここで、歩数は、例えば、三次元動作データと、歩行範囲データとから算出される。すなわち、動作情報データ作成部１３３は、三次元動作データが、歩行範囲データに含まれる歩行レーンに接触した回数をカウントすることで、歩数を算出する。なお、三次元動作データが歩行レーンに接触するとは、例えば、ＸＹＺ空間内において、三次元動作データに含まれる少なくとも１つの点の近傍に（すなわち、当該点から所定の範囲内）、歩行レーンに含まれる点が１つ以上含まれることである。
【０１２４】
また、歩幅は、例えば、三次元動作データと、歩行範囲データとから算出される。すなわち、動作情報データ作成部１３３は、上記の歩数を算出した際に、三次元動作データと歩行レーンとが接触した点同士の差（例えば、被計測者が測定機器４０に向かって歩行する場合は、当該点同士のＺ座標（深度情報）の差）を求めることで、歩幅を算出する。
【０１２５】
また、歩行速度は、例えば、深度センサ４２のフレームレートと、歩行データとから算出される。すなわち、動作情報データ作成部１３３は、フレーム間の三次元動作データに含まれる点の座標の単位時間あたりの推移（例えば、被計測者が測定機器４０に向かって歩行する場合は、当該点のＺ座標の単位時間あたりの推移）を求めることで、歩行速度を算出する。
【０１２６】
また、足上げ角度は、例えば、三次元動作データから算出される。すなわち、動作情報データ作成部１３３は、三次元動作データに含まれる複数の点のうち、被計測者の下肢に相当する複数の点のＹＺ平面における座標を求めることで、足上げ角度を算出する。
【０１２７】
次に、計測データ作成部１３４は、三次元動作データ作成部１３２により作成された三次元動作データと、動作情報データ作成部１３３により作成された動作情報データとを含む計測データを作成する（ステップＳ８０９）。
【０１２８】
以上により、深度センサ４２のフレームレートの逆数毎の複数の三次元動作データと、動作情報データとが含まれる計測データが作成される。
【０１２９】
なお、各三次元動作データは、ＸＹＺ空間内の点の集合（点群）で表されるため、容易に編集を行うことができる。例えば、複数の三次元動作データの中から、Ｚ座標の値が所定の条件を満たす三次元動作データを取得することができる。これにより、例えば、複数の三次元動作データの中から、被計測者の歩行距離が３ｍ〜６ｍの間の三次元動作データのみを取得することができる。したがって、例えば評価者は、被計測者の歩行動作が安定する範囲である歩行距離３ｍ〜６ｍの歩行動作のみを確認する、ということもできる。
【０１３０】
≪計測結果の表示操作から計測結果の表示までの処理≫
次に、例えば評価者等が計測結果の表示操作を行って、計測結果を表示する処理について、図１１を参照しながら説明する。図１１は、計測結果の表示操作から計測結果の表示までの処理の流れの一例を説明する図である。
【０１３１】
まず、出力装置３０の入力受付部３０１は、計測結果を表示するための計測結果の表示操作の入力を受け付ける（ステップＳ１１０１）。なお、計測開始操作は、評価者又は被計測者のいずれにより行われても良い。
【０１３２】
ここで、出力装置３０のユーザ（評価者又は被計測者等）は、表示制御部３０２により表示された、図１２に示す計測結果の指定画面Ｇ２００において計測結果の表示操作を行うことができる。
【０１３３】
図１２に示す計測結果の指定画面Ｇ２００には、日付指定欄Ｇ２１０と、被計測者ＩＤ指定欄Ｇ２２０と、ピン条件指定欄Ｇ２３０と、ＯＫボタンＧ２４０とが含まれる。
【０１３４】
ユーザは、被計測者の動作が計測された所望の日付を日付指定欄Ｇ２１０に指定すると共に、被計測者を識別する被計測者ＩＤを被計測者ＩＤ指定欄Ｇ２２０に指定する。また、ユーザは、動画に付与するピンの条件をピン条件指定欄Ｇ２３０から選択（指定）する。
【０１３５】
ユーザは、動画に付与するピンの条件をピン条件指定欄Ｇ２３０から指定することで、条件に応じた位置にピンを付与することができる。なお、ユーザは、複数のピンの条件をピン条件指定欄Ｇ２３０から指定しても良い。
【０１３６】
例えば、ピン条件指定欄Ｇ２３０から「足の角度」が選択された場合、被計測者の足の角度が最小（又は最大）となった位置（すなわち、被計測者の足の角度が最小（又は最大）となった再生時刻）にピンを付与することができる。また、例えば、ピン条件指定欄Ｇ２３０から「歩幅」が選択された場合、被計測者の歩幅が最小となった位置（又は歩幅が最大となった位置や所定の閾値以下となった位置等）にピンを付与することができる。同様に、例えば、ピン条件指定欄Ｇ２３０から「歩行速度」が選択された場合、被計測者の歩行速度が最小となった位置（又は歩行速度が最大となった位置や所定の閾値以下となった位置等）にピンを付与することができる。
【０１３７】
そして、図１２に示す計測結果の指定画面Ｇ２００において、ユーザは、ＯＫボタンＧ２４０を押下する。これにより、計測結果の表示操作が行われる。
【０１３８】
図１１に戻る。ステップＳ１１０１に続いて、出力装置３０の表示要求部３０４は、入力受付部３０１により計測結果の表示操作の入力が受け付けられると、計測結果の表示要求を作成する（ステップＳ１１０２）。計測結果の表示要求には、図１２に示す計測結果の指定画面Ｇ２００において指定された日付と、被計測者ＩＤと、ピン条件とが含まれる。
【０１３９】
次に、出力装置３０の通信部３０３は、表示要求部３０４に作成された計測結果の表示要求をサーバ装置２０に送信する（ステップＳ１１０３）。
【０１４０】
サーバ装置２０の通信部２０１は、計測結果の表示要求を出力装置３０から受信する（ステップＳ１１０４）。
【０１４１】
次に、サーバ装置２０のデータ管理部２０２は、通信部２０１により計測結果の表示要求を受信すると、当該表示要求に含まれる日付及び被計測者ＩＤに関連付けられている動画データを動画データ記憶部２１０から取得する。また、データ管理部２０２は、当該日付及び被計測者ＩＤに関連付けられている計測データを計測データ記憶部２２０から取得する（ステップＳ１１０５）。
【０１４２】
次に、サーバ装置２０の動画データ編集部２０３は、通信部２０１により受信された計測結果の表示要求に含まれるピン条件に応じて、データ管理部２０２により取得された動画データを編集する（ステップＳ１１０６）。すなわち、動画データ編集部２０３は、データ管理部２０２により取得された計測データに含まれる動作情報データと、ピン条件とに基づいて、動画データにピンを付与する。
【０１４３】
例えば、ピン条件が「足の角度」である場合、動画データ編集部２０３は、動作情報データから被計測者の足の角度が最小（又は最大等）となった測定時刻を特定する。そして、動画データ編集部２０３は、特定した測定時刻に対応する再生時刻（動画データの再生時刻）の位置にピンを付与する。
【０１４４】
また、例えば、ピン条件が「歩幅」である場合、動画データ編集部２０３は、動作情報データから被計測者の歩幅が最小（又は最大等）となった測定時刻を特定する。そして、動画データ編集部２０３は、特定した測定時刻に対応する再生時刻の位置にピンを付与する。
【０１４５】
同様に、例えば、ピン条件が「歩行速度」である場合、動画データ編集部２０３は、動作情報データから被計測者の歩行速度が最小（又は最大等）となった測定時刻を特定する。そして、動画データ編集部２０３は、特定した測定時刻に対応する再生時刻の位置にピンを付与する。
【０１４６】
次に、サーバ装置２０の表示データ作成部２０４は、動画データ編集部２０３により編集された動画データと、データ管理部２０２により取得された計測データとを含む表示データを作成する（ステップＳ１１０７）。
【０１４７】
次に、サーバ装置２０の通信部２０１は、表示データ作成部２０４により作成された表示データを出力装置３０に送信する（ステップＳ１１０８）。
【０１４８】
出力装置３０の通信部３０３は、表示データをサーバ装置２０から受信する（ステップＳ１１０９）。
【０１４９】
次に、出力装置３０の表示制御部３０２は、通信部３０３により表示データが受信されると、当該表示データに基づいて、被計測者の歩行動作の計測結果を示す計測結果画面を表示する（ステップＳ１１１０）。
【０１５０】
ここで、被計測者の歩行動作の計測結果を示す計測結果画面の一例について、図１３を参照しながら説明する。図１３は、計測結果画面Ｇ１００の一例を示す図である。
【０１５１】
図１３に示す計測結果画面Ｇ１００には、被計測者Ｐの動作を撮像した動画を表示する動画表示欄Ｇ１１０と、動画表示欄Ｇ１１０に表示されている被計測者Ｐの動作を三次元の点群で表した点群Ｑを表示する三次元表示欄Ｇ１２０とが含まれる。このとき、三次元表示欄Ｇ１２０に表示される点群ＱはＸＹＺ空間における点の集まりであるため、例えば評価者の操作に応じて様々な方向から点群Ｑを表示することができる。したがって、様々な方向から点群Ｑの動作を確認することで、例えば評価者は、様々な方向から被計測者Ｐの動作を確認することができる。
【０１５２】
三次元表示欄Ｇ１２０には、歩行レーンＬと、被計測者Ｐの歩行動作中における歩行レーンＬ上の足跡Ｇ１２１と、被計測者Ｐの歩行動作における歩数Ｇ１２２とが含まれる。これにより、例えば評価者は、被計測者Ｐの歩行動作中における歩幅や歩数を確認することができる。なお、三次元表示欄Ｇ１２０には、被計測者Ｐの歩行動作における歩行速度や足上げ角度が表示されていても良い。
【０１５３】
また、図１３に示す計測結果画面Ｇ１００には、シークバーＧ１３１と、再生／停止ボタンＧ１３２と、ピンＧ１４０とが含まれる。ユーザは、シークバーＧ１３１を操作して、任意の再生時刻の動画を動画表示欄Ｇ１１０に表示させると共に、当該再生時刻に対応する測定時刻の点群Ｑ等を三次元表示欄Ｇ１２０に表示させることができる。
【０１５４】
また、ユーザは、再生／停止ボタンＧ１３２を押下することで、動画表示欄Ｇ１１０に表示される動画及び三次元表示欄Ｇ１２０に表示される点群Ｑ等の再生及び一時停止を行うことができる。
【０１５５】
更に、ユーザは、ピンＧ１４０を押下することで、押下されたピンＧ１４０に対応する再生時刻の動画を動画表示欄Ｇ１１０に表示させると共に、当該再生時刻に対応する測定時刻の点群Ｑ等を三次元表示欄Ｇ１２０に表示させることができる。なお、ユーザは、ピンＧ１４０の上に、例えばマウスカーソル等を重畳させることで、当該ピンＧ１４０が示す位置の説明Ｇ１４３１を表示することができる。
【０１５６】
このように、ユーザは、計測結果画面Ｇ１００において、被計測者Ｐの動作を動画で確認すると共に、当該動作を三次元の点群Ｑの動きとして確認することができる。また、このとき、ユーザは、ピンＧ１４０を押下することにより、当該動作中において足上げ角度が最小になった時点や歩幅が最小になった時点等を容易に表示することができる。これにより、ユーザは、被計測者Ｐの動作等を容易に評価することができるようになる。
【０１５７】
ここで、被計測者の歩行動作の計測結果を示す計測結果画面の他の例について、図１４を参照しながら説明する。図１４は、計測結果画面Ｇ３００の他の例を示す図である。
【０１５８】
図１４に示す計測結果画面Ｇ３００は、例えば、図１２に示す計測結果の指定画面Ｇ２００の日付指定欄Ｇ２１０に複数の日付が指定された場合に表示される画面である。
【０１５９】
図１４に示す計測結果画面Ｇ３００には、日付指定欄Ｇ２１０に指定された日付「２０１６年３月１５日」における被計測者Ｐの動作を撮像した動画を表示する動画表示欄Ｇ３１０が含まれる。また、図１４に示す計測結果画面Ｇ３００には、日付指定欄Ｇ２１０に指定された日付「２０１６年４月１５日」における被計測者Ｐの動作を撮像した動画を表示する動画表示欄Ｇ３２０が含まれる。
【０１６０】
更に、図１４に示す計測結果画面Ｇ３００には、動画表示欄Ｇ３１０及び動画表示欄Ｇ３２０にそれぞれ表示されている被計測者Ｐの動作を三次元の点群で表した点群Ｑ１及び点群Ｑ２を表示する三次元表示欄Ｇ３３０が含まれる。すなわち、三次元表示欄Ｇ３３０には、日付「２０１６年３月１５日」における被計測者Ｐの動作を表した点群Ｑ１と、日付「２０１６年４月１５日」における被計測者Ｐの動作を表した点群Ｑ２とが含まれる。
【０１６１】
また、三次元表示欄Ｇ３３０には、日付「２０１６年３月１５日」における被計測者Ｐの足跡Ｇ１２１と、日付「２０１６年４月１５日」における被計測者Ｐの足跡Ｇ１５１とが含まれる。更に、三次元表示欄Ｇ３３０には、日付「２０１６年３月１５日」における被計測者Ｐの歩行動作における歩数Ｇ１２２と、日付「２０１６年４月１５日」における被計測者Ｐの歩行動作における歩数Ｇ１５２とが含まれる。
【０１６２】
このように、ユーザは、計測結果画面Ｇ３００において、複数の日付における被計測者Ｐの動作を動画で確認すると共に、これらの動作を三次元の点群の動きとして確認することができる。したがって、ユーザは、複数の日付における被計測者Ｐの動作を比較しながら評価を行うことができるようになる。
【０１６３】
以上のように、本実施形態に係る動作計測システム１では、被計測者の動作を撮像した動画を出力装置３０に表示させると共に、当該動作を表す三次元の点群を出力装置３０に表示させる。また、このとき、本実施形態に係る動作計測システム１では、被計測者の歩幅や歩数等を表示する。
【０１６４】
これにより、評価者は、計測結果画面を参考にして、被計測者の動作や姿勢等の改善を指導することができる。また、同様に、被計測者は、計測結果画面を参考にして、自身の動作や姿勢等の改善を図ることができる。
【０１６５】
本発明は、具体的に開示された上記の各実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０１６６】
１        動作計測システム
１０      計測装置
２０      サーバ装置
３０      出力装置
４０      測定機器
４１      撮像機器
４２      深度センサ
１００    計測プログラム
１０１    入力受付部
１０２    測定制御部
１０３    通信部
１０４    背景データ作成部
１０５    計測データ作成処理部
１０６    動画データ作成部
１０７    データ管理部
１１０    背景データ記憶部
１２０    一時記憶部
１３１    歩行範囲データ作成部
１３２    三次元動作データ作成部
１３３    動作情報データ作成部
１３４    計測データ作成部
２００    サーバプログラム
２０１    通信部
２０２    データ管理部
２０３    動画データ編集部
２０４    表示データ作成部
２１０    動画データ記憶部
２２０    計測データ記憶部
３００    出力プログラム
３０１    入力受付部
３０２    表示制御部
３０３    通信部
３０４    表示要求部
【先行技術文献】
【特許文献】
【０１６７】
【特許文献１】特開２００５−３５２６８６号公報
【図１】
2018102855.tif 000003
【図２】
2018102855.tif 000004
【図３】
2018102855.tif 000005
【図４】
2018102855.tif 000006
【図５】
2018102855.tif 000007
【図６】
2018102855.tif 000008
【図７】
2018102855.tif 000009
【図８】
2018102855.tif 000010
【図９】
2018102855.tif 000011
【図１０】
2018102855.tif 000012
【図１１】
2018102855.tif 000013
【図１２】
2018102855.tif 000014
【図１３】
2018102855.tif 000015
【図１４】
2018102855.tif 000016