(57)【要約】【課題】移動する対象の動作を評価しやすい画像表示システムを提供する。【解決手段】情報処理装置と、水平方向の周囲を撮像可能な広角撮像装置と、移動する対象の動作を測定する測定装置とを有する画像表示システムであって、前記広角撮像装置が前記対象を撮像することにより生成した画像データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、前記画像データと前記測定データとを対応付ける第１の対応付け手段と、前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段と、前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段と、を有する。【選択図】図１
2017202020.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と、水平方向の周囲を撮像可能な広角撮像装置と、移動する対象の動作を測定する測定装置とを有する画像表示システムであって、
前記広角撮像装置が前記対象を撮像することにより生成した画像データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、
前記画像データと前記測定データとを対応付ける第１の対応付け手段と、
前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段と、
前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段と、
を有する画像表示システム。
【請求項２】
前記画像データにおける水平方向の所定の撮像範囲毎に、該撮像範囲と前記タスクとを対応付けて記憶する記憶手段を有し、
前記第２の対応付け手段は、
前記画像データにおいて前記対象が含まれる前記撮像範囲に対応付けられている前記タスクを、前記画像データと対応付ける、請求項１に記載の画像表示システム。
【請求項３】
前記第２の対応付け手段は、
前記画像データに含まれるフレーム画像データ毎に、該フレーム画像データにおいて前記対象が含まれる前記撮像範囲に対応付けられている前記タスクを、前記フレーム画像データに対応付け、
前記表示手段は、
前記第２の対応付け手段により前記画像データに含まれる各フレーム画像データと対応付けられた前記タスクを前記表示装置に表示させる、請求項２に記載の画像表示システム。
【請求項４】
前記第２の対応付け手段は、
さらに、前記測定データに基づいて、前記画像データと、前記対象が行っている動作を示すステータスとを対応付け
前記表示手段は、
さらに、前記画像データと対応付けられた前記ステータスを前記表示装置に表示させる、請求項１乃至３の何れか一項に記載の画像表示システム。
【請求項５】
前記第２の対応付け手段は、
前記画像データに含まれるフレーム画像データ毎に、該フレーム画像データにおいて前記対象が行っている動作を前記測定データに基づいて特定し、該特定した動作をステータスとして、前記フレーム画像データと対応付け、
前記表示手段は、
前記画像データに含まれる各フレーム画像データと対応付けられた前記ステータスを前記表示装置に表示させる、請求項４に記載の画像表示システム。
【請求項６】
前記広角撮像装置は、
該広角撮像装置の周囲で１以上の動作を行う前記対象を撮像し、
前記第１の対応付け手段は、
前記１以上の動作を行う前記対象が撮像された前記画像データと、前記測定データとを対応付ける、請求項１乃至５の何れか一項に記載の画像表示システム。
【請求項７】
前記情報処理装置は、
前記測定装置に測定開始及び測定終了を要求すると共に、前記広角撮像装置に撮像開始及び撮像終了を要求する指示手段を有し、
前記第１の対応付け手段は、
前記画像データの撮像開始及び前記測定データの測定開始と、前記画像データの撮像終了及び前記測定データの測定終了とに基づいて、前記画像データと、前記測定データとを対応付ける、請求項１乃至６の何れか一項に記載の画像表示システム。
【請求項８】
前記表示装置は、
前記対象の動作の測定開始又は前記対象の撮像開始の少なくとも一方を受け付ける受付手段と、
前記受付手段が受け付けた前記測定開始又は前記撮像開始の少なくとも一方を前記情報処理装置に通知する通知手段と、
を有する、請求項７に記載の画像表示システム。
【請求項９】
前記測定データには、前記対象の動作を測定した測定値が複数含まれ、
前記測定装置は、
所定の閾値以上の前記測定値が検出された場合に、前記測定データの生成を開始すると共に、撮像の開始を前記広角撮像装置に要求する測定手段を有し、
前記広角撮像装置は、
前記測定手段による撮像の開始要求を受け取ると、前記対象の撮像を開始して、前記画像データの生成を開始する撮像手段、
を有する、請求項１乃至８の何れか一項に記載の画像表示システム。
【請求項１０】
前記測定手段は、
所定の閾値未満の前記測定値が検出された場合に、前記測定データの生成を終了すると共に、撮像の終了を前記広角撮像装置に要求し、
前記撮像手段は、
前記測定手段による撮像の終了要求を受け取ると、前記対象の撮像を終了して、前記画像データの生成を終了する、請求項９に記載の画像表示システム。
【請求項１１】
前記広角撮像装置は、
前記対象の撮像を開始することを報知する第１の報知手段を有する、請求項１乃至１０の何れか一項に記載の画像表示システム。
【請求項１２】
前記測定装置は、
前記対象の動作の測定を開始することを報知する第２の報知手段を有する、請求項１乃至１１の何れか一項に記載の画像表示システム。
【請求項１３】
水平方向の周囲を撮像可能な広角撮像装置と、移動する対象の動作を測定する測定装置と通信可能な情報処理装置であって、
前記広角撮像装置が前記対象を撮像することにより生成した画像データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、
前記画像データと前記測定データとを対応付ける第１の対応付け手段と、
前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段と、
前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段と、
を有する情報処理装置。
【請求項１４】
水平方向の周囲を撮像可能な広角撮像装置と通信可能な情報処理装置であって、
移動する対象の動作を測定して、測定データを生成する測定手段と、
前記広角撮像装置が前記対象を撮像することにより生成した画像データを取得する取得手段と、
前記画像データと前記測定データとを対応付ける第１の対応付け手段と、
前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段と、
前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段と、
を有する情報処理装置。
【請求項１５】
水平方向の周囲を撮像可能な撮像装置であって、情報処理装置と、移動する対象の動作を測定する測定装置と通信可能な撮像装置において、
前記対象を撮像することにより画像データを生成する撮像手段と、
前記測定装置が前記対象の動作を測定することにより生成した測定データを取得する取得手段と、
前記画像データと、前記測定データとを前記情報処理装置に送信する送信手段と、
を有する撮像装置。
【請求項１６】
水平方向の周囲を撮像可能な広角撮像装置と、移動する対象の動作を測定する測定装置と通信可能な情報処理装置を、
前記広角撮像装置が前記対象を撮像することにより生成した画像データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段、
前記画像データと前記測定データとを対応付ける第１の対応付け手段、
前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段、
前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段、
として機能させるためのプログラム。
【請求項１７】
水平方向の周囲を撮像可能な広角撮像装置と通信可能な情報処理装置を、
移動する対象の動作を測定して、測定データを生成する測定手段、
前記広角撮像装置が前記対象を撮像することにより生成した画像データを取得する取得手段、
前記画像データと前記測定データとを対応付ける第１の対応付け手段、
前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段、
前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段、
として機能させるためのプログラム。
【請求項１８】
水平方向の周囲を撮像可能な撮像装置であって、情報処理装置と、移動する対象の動作を測定する測定装置と通信可能な撮像装置を、
前記対象を撮像することにより画像データを生成する撮像手段、
前記測定装置が前記対象の動作を測定することにより生成した測定データを取得する取得手段、
前記画像データと、前記測定データとを前記情報処理装置に送信する送信手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、情報処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
人の歩行動作を分析するモーションキャプチャシステムが従来から知られている。モーションキャプチャシステムでは、例えば、身体の関節位置等に所定のマーカを装着した人をカメラで撮像して、トラッカーによりマーカの動きを追跡することで、人の歩行動作を分析することができる。
【０００３】
ここで、モーションキャプチャシステムは、様々な角度から人の動作を捉えるために多数のマーカが必要であり、歩行動作の撮像までの準備や撮像後の分析に時間やコストが掛かる傾向があった。また、実験室等のような特別な環境以外では歩行動作の分析を行うことが困難であった。
【０００４】
これらの問題に対して、身体の所定の部位に複数のマークが装着された歩行者の撮像画像を用いて、比較的簡単な構成で歩行動作を分析できる技術が知られている（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、撮像可能な動作が限られるという問題がある。これは、例えば、歩行動作の場合、歩行することで人は徐々に移動するのに対して、カメラの位置や向きは固定されているためである。したがって、カメラが固定されている場合、直線的に歩行する歩行者の歩行動作以外の歩行動作等（例えば、カメラの周囲を旋回しながらの歩行する歩行者の歩行動作等）を撮像することは困難である。
【０００６】
本発明の一実施形態は、上記の点に鑑みてなされたもので、移動する対象の動作を評価しやすい画像表示システムを提供することを目的する。
【課題を解決するための手段】
【０００７】
上記目的を達成するための、本発明の一実施形態は、情報処理装置と、水平方向の周囲を撮像可能な広角撮像装置と、移動する対象の動作を測定する測定装置とを有する画像表示システムであって、前記広角撮像装置が前記対象を撮像することにより生成した画像データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、前記画像データと前記測定データとを対応付ける第１の対応付け手段と、前記画像データと、前記対象が行うべき動作を示すタスクとを対応付ける第２の対応付け手段と、前記第１の対応付け手段により対応付けられた前記画像データと前記測定データ、及び前記第２の対応付け手段により前記画像データと対応付けられた前記タスクを表示装置に表示させる表示手段と、を有する。
【発明の効果】
【０００８】
本発明の一実施形態によれば、移動する対象の動作を評価しやすい画像表示システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】画像表示システムの概略的な動作の一例を説明する図である。
【図２】画像表示システムのシステム構成の一例を示す図である。
【図３】サーバ及び表示装置のハードウェア構成の一例を示す図である。
【図４】加速度測定装置のハードウェア構成の一例を示す図である。
【図５】全天球画像撮像装置のハードウェア構成の一例を示す図である。
【図６】サーバ、表示装置、加速度測定装置、及び全天球画像撮像装置の機能ブロックの一例を示す図である。
【図７】タスク設定テーブルの一例を示す図である。
【図８】タスクの設定の一例を説明する図である。
【図９】被験者の一連の動作の一例を説明する図である。
【図１０】画像表示システムの全体的な動作の一例を説明するシーケンス図である。
【図１１】画像表示システムの全体的な動作の変形例（その１）を説明するシーケンス図である。
【図１２】画像表示システムの全体的な動作の変形例（その２）を説明するシーケンス図である。
【図１３】画像表示システムの全体的な動作の変形例（その３）を説明するシーケンス図である。
【図１４】画像表示システムの全体的な動作の変形例（その４）を説明するシーケンス図である。
【図１５】画像表示システムの全体的な動作の変形例（その５）を説明するシーケンス図である。
【図１６】タスクの特定及び表示画像の作成処理の一例を説明するフローチャートである。
【図１７】タスクの特定の一例を説明する図である。
【図１８】表示装置に表示された表示画像データと測定データの一例を示す図である。
【図１９】被験者が写っている範囲を画像データ欄に表示する処理の一例の示すフローチャートである。
【図２０】全天球画像の上面図における被験者の足の位置の一例を模式的に説明する図である。
【図２１】被験者が写っている範囲を画像データ欄に表示する処理の他の例の示すフローチャートである。
【図２２】顔の認識の一例を模式的に説明する図である。
【図２３】画像表示システムのシステム構成の他の例を示す図である。
【図２４】加速度測定装置が測定データと表示画像データを表示する場合における画像表示システムの全体的な動作の一例を説明するシーケンス図である。
【図２５】サーバ、表示装置、加速度測定装置、及び全天球画像撮像装置の機能ブロックの一例を示す図である。
【図２６】タスクの特定及び表示画像の作成処理の一例を説明するフローチャートである。
【図２７】表示装置に表示された表示画像データと測定データの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１１】
［第一の実施形態］
＜画像表示システムの概略＞
まず、第一の実施形態に係る画像表示システム１００の概略的な動作について説明する。図１は、第一の実施形態に係る画像表示システム１００の概略的な動作の一例を説明する図である。
【００１２】
本実施形態に係る画像表示システム１００では、全天球画像撮像装置６０が設置されており、その周囲において、例えば、ＴＵＧ（Timed Up and Go）テスト等を行っている被験者２００を撮像する。すなわち、全天球画像撮像装置６０は、被験者２００が椅子Ｏ１から起立して、ラインＬに沿って歩行すると共に、障害物Ｏ２を跨いで歩行した後、椅子Ｏ１に再度着席するまでの一連の動作を撮像する。
【００１３】
また、被験者２００には、加速度測定装置５０が身体に装着されており、被験者２００の一連の動作中に生じる加速度を加速度測定装置５０が測定している。
【００１４】
（１）全天球画像撮像装置６０は、被験者２００を撮像することにより生成した画像データをサーバ１０に送信する。また、加速度測定装置５０は、被験者２００の一連の動作中に生じた加速度を測定することにより生成した測定データをサーバ１０に送信する。
【００１５】
なお、画像データの撮像開始時刻と測定データの測定開始時刻とは同期しており、画像データの撮像終了時刻と測定データの測定終了時刻とは同期している。
【００１６】
（２）サーバ１０は、画像データと測定データの時間軸を同期させる。また、サーバ１０は、被験者２００が行うべき動作を画像データに対応付けて、表示画像データを作成する。
【００１７】
ここで、被験者２００が行うべき動作は、タスクと呼ばれる。タスクには、例えば、被験者２００が椅子Ｏ１から起立又は椅子Ｏ１に着席する動作を行うべきタスクを示す「起立又は着席」タスク、被験者２００がラインＬ上を直線歩行する動作を行うべきタスクを示す「直線歩行」タスク等がある。したがって、表示画像データは、タスクと画像データとを対応付けることで作成される。
【００１８】
（３）サーバ１０は、表示画像データと測定データを表示装置３０に送信する。これにより、表示装置３０は、表示画像データと測定データを同じ時間軸で表示することができると共に、被験者２００のタスクを表示することができる。
【００１９】
図１に示したような構成によれば、全天球画像撮像装置６０が用いられ、その周囲で一連の動作（すなわち、１以上のタスク）を行う被験者２００が撮像されるので、これらの動作を行う撮像が可能になる。したがって、本実施形態に係る画像表示システム１００では、例えば、ＴＵＧテスト等における被験者２００の各動作の分析を有効に行うことができるようになる。
【００２０】
また、全天球画像撮像装置６０は、カメラを移動させることなく被験者２００の側面を撮像することができるため、被験者２００の身体の前後方向の揺れ方等を撮像できる。このため、本実施形態に係る画像表示システム１００によれば、例えば、ＴＵＧテストにおける指導者等は、被験者２００の各動作を映像で確認及び評価して、改善点を指導することができるようになる。
【００２１】
また、本実施形態に係る画像表示システム１００では、被験者２００の加速度等が測定された測定データが表示画像データと同じ時間軸で表示されると共に、被験者２００が行うべき動作を示すタスクが表示される。このため、指導者等は、被験者２００がタスクに応じた良好な動作を行っているか否かを測定データで裏付けることができる。
【００２２】
また、本実施形態に係る画像表示システム１００では、予め用意されている良好とされる測定データと、被験者２００の測定データとを比較することで、指導者等は、良好でない測定データを発見することもできる。良好でない測定データは、表示画像データと対応付けられているので、指導者等は改善すべき動作を表示画像データから特定することができるようになる。
【００２３】
したがって、本実施形態に係る画像表示システム１００を用いることで、指導者等は、測定データと表示画像データとを相補的に利用して、被験者２００の各動作を評価することができるようになる。
【００２４】
なお、以降では、画像データは、動画データであるものとして説明する。したがって、画像データには、１フレーム分の画像（フレーム画像）のデータであるフレームデータが複数含まれる。ただし、画像データは、動画に限られず、静止画の画像データ（静止画データ）であっても良い。
【００２５】
ここで、被験者２００は、椅子から起立、椅子に着席、直線歩行、旋回歩行、障害物を跨ぎながらの歩行等の各種の動作を行う対象であるが、人に限られず、例えば、動物、ロボット等であっても良い。また、歩行には、走ることが含まれていても良く、後ろ向きに歩行しても良い。さらに、当該対象は、車椅子、義足を装着した人、自転車、竹馬、三輪車等であっても良い。以降では、便宜上、当該対象は、「被験者２００」であるものとして説明する。
【００２６】
また、測定データは、対象の動作を評価するために用いられる情報であるが、加速度に限られず、例えば、角速度、位置、又は方位等であっても良い。
【００２７】
また、画像データと測定データとが対応付けられるとは、画像データに含まれるフレームデータのうち、１つ以上のフレームデータが決まると、測定データに含まれる測定値（具体的には、加速度等）のうち、１つ以上の測定値が決まることをいう。又は、ほぼ同じ時刻に撮像された画像データに含まれるフレームデータと、測定データに含まれる測定値とが特定された場合に、時刻、フレームデータ、又は測定値の１つが決まると残りが決まることをいう。
【００２８】
さらに、画像データとタスクとが対応付けられるとは、画像データに含まれる１つのフレームデータが決まると、１つのタスクが決まることをいう。
【００２９】
指導者とは、被験者２００の各動作を映像で確認して、当該各動作を評価し、改善点等を立案できる者をいう。具体的には、保健師、臨床検査技師、義肢装具士等の資格の保有者が挙げられるが、資格はなくても良い。
【００３０】
また、各動作を評価し、改善点等を立案できる者でなくても、画像表示システム１００の操作は可能であり、指導者は、操作者、ユーザ、又は利用者等と呼ばれても良い。
【００３１】
＜システム構成＞
次に、第一の実施形態に係る画像表示システム１００のシステム構成について説明する。図２は、第一の実施形態に係る画像表示システム１００のシステム構成の一例を示す図である。
【００３２】
本実施形態に係る画像表示システム１００は、サーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０を有し、ネットワークＮを介して相互に通信可能に接続されている。
【００３３】
ネットワークＮは、画像表示システム１００が配置されている施設等に構築されているＬＡＮ（Local Area Network）等である。ネットワークＮには、インターネットや電話回線網等が含まれていても良い。また、ネットワークＮは、有線又は無線のいずれで構築されていても良く、有線と無線とが組み合わされていても良い。
【００３４】
全天球画像撮像装置６０は、全天球画像又は全方位画像（以降では、単に「全天球画像」と表す。）と呼ばれる周囲３６０°を撮像する撮像装置（カメラ）である。全天球画像撮像装置６０は、後述する光学系を備えることで、一回の撮像動作で全天球画像を得ることができる。全天球画像には、ほぼ死角なく周囲３６０°の画像が撮像されているため、指導者等は任意の領域を選択的にディスプレイ等に表示させて、閲覧することができる。
【００３５】
なお、本実施形態において、全天球画像撮像装置６０は、緯度方向（画像の上下方向）で３６０°の撮像範囲を有していなくても良い。天井や床等の領域には、被験者２００が写らないためである。
【００３６】
また、全天球画像撮像装置６０は、経度方向（画像の水平方向）で３６０°の撮像範囲を有していなくても良い。これは、被験者２００の各動作を指導者等が分析するために、全天球画像撮像装置６０の全周の画像までは必要ない場合があるためである。
【００３７】
なお、全天球画像撮像装置６０として、ある画角で複数の矩形範囲をそれぞれ撮像した複数の画像を繋ぎ合わせることで全天球画像を得る撮像装置が用いられても良い。
【００３８】
加速度測定装置５０は、被験者２００の加速度を測定して、測定した加速度を示す測定値を含む測定データを得る装置である。加速度は、鉛直方向加速度、進行方向加速度、左右方向加速度の３軸それぞれで測定されることが好適であるが、少なくとも一方向の加速度でも良い。
【００３９】
加速度測定装置５０として加速度を測定する専用のセンサ（加速度センサ）も存在するが、加速度測定装置５０は、加速度センサを有している装置であっても良い。具体的には、加速度測定装置５０は、例えば、スマートフォン、携帯電話、タブレット端末、ノートＰＣ（Personal Computer）、ウェアラブル端末（ヘッドマウントディスプレイ、サングラスや腕時計等として装着されるＰＣ）、歩度計等であっても良い。
【００４０】
また、加速度測定装置５０は、加速度以外にも、例えば、角速度、位置、方位等を測定する機能を有していても良い。
【００４１】
角速度は、例えば、ジャイロセンサを用いて測定することができる。位置は、例えば、ＧＰＳ（Global Positioning System）衛星、ＩＭＥＳ（Indoor MEssaging System）、又はビーコン等を用いて測定することができる。方位は、例えば、東西南北の方位を、例えば北を基準に検出する方位センサを用いて測定することができる。これらは、いずれも加速度と同様に、被験者２００の各動作の評価に用いることができる。
【００４２】
本実施形態では、加速度測定装置５０が加速度を測定するものとして説明するが、これに限られず、加速度測定装置５０は、角速度、位置、方位等、被験者２００の各動作の評価に用いられる各種の測定値を含む測定データをサーバ１０に送信しても良い。
【００４３】
サーバ１０は、全天球画像撮像装置６０から受信した画像データと、加速度測定装置５０から受信した測定データとの時間軸を同期させる情報処理装置である。また、サーバ１０は、全天球画像撮像装置６０から受信した画像データから表示画像データを作成する。なお、サーバ１０の機能は、加速度測定装置５０や表示装置３０が有していても良い。
【００４４】
表示装置３０は、指導者等が表示画像データと測定データとを表示させる端末装置として使用される情報処理装置である。具体的には、例えば、ＰＣ、スマートフォン、タブレット端末、携帯電話、カーナビゲーション端末、ウェアラブル端末、カメラ、電子黒板、プロジェクタ、ゲーム機、ＭＦＰ（Multifunction Peripheral/Printer/Product）等である。
【００４５】
＜ハードウェア構成＞
次に、第一の実施形態に係るサーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０のハードウェア構成について説明する。
【００４６】
図３は、第一の実施形態に係るサーバ１０及び表示装置３０のハードウェア構成の一例を示す図である。図３に示すサーバ１０及び表示装置３０のハードウェア構成は、１つの筐体に配置されている例を示しているが、これに限られない。サーバ１０及び表示装置３０のハードウェア構成は、それぞれのハードウェアが通信可能なように、例えば、複数の筐体等に分散して配置されていても良い。なお、サーバ１０及び表示装置３０は、同様のハードウェア構成を有しているため、以降では、主に、サーバ１０のハードウェア構成について説明する。
【００４７】
サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０５、及びメディアドライブ１０７を有する。また、サーバ１０は、ディスプレイ１０８、ネットワークＩ／Ｆ１０９、キーボード１１１、マウス１１２、及び光学ドライブ１１４を有する。これらの各ハードウェアは、それぞれがバス１１０で互いに接続されている。
【００４８】
ＣＰＵ１０１は、ＨＤ（Hard Disk）１０４に記憶されている画像処理プログラムを実行して、サーバ１０の全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ（Initial Program Reader）等、ＣＰＵ１０１の駆動に用いられるプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される主記憶装置である。ＨＤ１０４は、不揮発性メモリを搭載した記憶装置である。
【００４９】
ＨＤＤ１０５は、ＣＰＵ１０１の制御に従ってＨＤ１０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ１０８は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ネットワークＩ／Ｆ１０９は、ネットワークＮとのインタフェースである。なお、サーバ１０のディスプレイ１０８が表示装置３０であっても良い。
【００５０】
キーボード１１１及びマウス１１２は、入出力装置である。キーボード１１１は、文字、数値、各種指示等の入力のための複数のキーを備え、これらの複数のキーからの入力を受け付ける。マウス１１２は、マウスポインターの移動及び各種指示の選択や実行、処理対象の選択等を受け付ける。
【００５１】
メディアドライブ１０７は、フラッシュメモリ等の記録メディア１０６に対する各種データの読み出し又は書き込みを制御する。光学ドライブ１１４は、着脱可能な記録媒体の一例としてのＣＤ(Compact Disc)１１３等に対する各種データの読み出し又は書き込みを制御する。
【００５２】
なお、上記の画像処理プログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６やＣＤ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。画像処理プログラムは、例えば、所定のサーバ装置等からダウンロードされる形態で配布されても良い。
【００５３】
本実施形態に係るサーバ１０及び表示装置３０は、図３に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
【００５４】
図４は、加速度測定装置５０のハードウェア構成の一例を示す図である。なお、図４では、一例として、加速度測定装置５０がスマートフォンやタブレット端末である場合のハードウェア構成を示すが、加速度測定装置５０のハードウェア構成は、これに限られない。
【００５５】
加速度測定装置５０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、フラッシュメモリ２０４、加速度・方位センサ２０５、ジャイロセンサ２０６、及びメディアドライブ２０７を有する。また、加速度測定装置５０は、音声入力装置２１０、音声出力装置２１１、通信装置２１２、ＧＰＳ受信装置２１３、ディスプレイ２１４、及びタッチパネル２１５を有する。これらの各ハードウェアは、それぞれがバス２０９で互いに接続されている。
【００５６】
ＣＰＵ２０１は、フラッシュメモリ２０４に記憶されているプログラムを実行することで加速度測定装置５０全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬや基本入出力プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際にワークエリアとして使用される主記憶装置である。
【００５７】
フラッシュメモリ２０４は、加速度測定装置５０が実行するプログラムや各種データを記憶する不揮発性の記憶装置である。なお、プログラムは、例えば、オペレーティングシステム、加速度測定装置５０が実行する装置プログラム等である。
【００５８】
加速度・方位センサ２０５は、地磁気を検知する電子磁気コンパスとしての機能や３軸方向の加速度を測定する機能等を備えている。ジャイロセンサ２０６は、ｘ軸、ｙ軸、又はz軸に対して、加速度測定装置５０が回転する際の角速度を検出する。なお、それぞれの軸の回転角度は、ヨー角、ピッチ角、ロール角と呼ばれる。
【００５９】
メディアドライブ２０７は、フラッシュメモリ等の記録メディア２０８に対するデータの読み出し又は書き込み（記憶）を制御する。
【００６０】
音声入力装置２１０は、音声を音声信号に変換するマイクである。音声出力装置２１１は、音声信号を音声に変換するスピーカである。通信装置２１２は、アンテナ２１２ａを利用して無線通信信号により通信を行う。なお、通信装置２１２は、ＬＡＮに接続するＬＡＮカード等であっても良い。
【００６１】
ＧＰＳ受信装置２１３は、ＧＰＳ衛星、又は屋内ＧＰＳとしてのＩＭＥＳ等によって加速度測定装置５０の位置情報（例えば、緯度や経度、高度等）を検出する。
【００６２】
ディスプレイ２１４は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。タッチパネル２１５は、ディスプレイ２１４上に重畳されており、指やタッチペン等による操作に対して、ディスプレイ２１４上におけるタッチ位置（座標）を検出する。
【００６３】
なお、上記の装置プログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０８等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。装置プログラムは、例えば、所定のサーバ装置等からダウンロードされる形態で配布されても良い。
【００６４】
本実施形態に係る加速度測定装置５０は、図４に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
【００６５】
図５は、全天球画像撮像装置６０のハードウェア構成の一例を示す図である。図５では、一例として、全天球画像撮像装置６０は、２つの撮像素子を使用した撮像装置であるものとして説明するが、撮像素子は３つ以上であっても良い。また、全天球画像撮像装置６０は、必ずしも全天球画像を撮像するための専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全天球画像撮像ユニットを取り付けることで、実質的に全天球画像撮像装置６０と同じ機能を有するようにしても良い。
【００６６】
全天球画像撮像装置６０は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、音声出力装置３１９、及びＣＰＵ３１１を有する。また、全天球画像撮像装置６０は、ＲＯＭ３１２、ＳＲＡＭ（Static RAM）３１３、ＤＲＡＭ（Dynamic RAM）３１４、操作装置３１５、外部Ｉ／Ｆ３１６、及び通信装置３１７を有する。
【００６７】
撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる、魚眼レンズ）３０２ａ及び３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ及び３０３ｂとを備えている。
【００６８】
撮像素子３０３ａ及び３０３ｂは、それぞれ対応する広角レンズ３０２ａ又は３０２ｂによる光学像を電気信号の画像データに変換して出力する画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路等を有している。また、撮像素子３０３ａ及び３０３ｂは、これらの撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。なお、画像センサは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等が挙げられる。
【００６９】
撮像ユニット３０１の撮像素子３０３ａ及び３０３ｂは、それぞれ、画像処理ユニット３０４とはパラレルＩ／Ｆバスで接続されている。また、撮像ユニット３０１の撮像素子３０３ａ及び３０３ｂは、撮像制御ユニット３０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。
【００７０】
画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続されている。また、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作装置３１５、外部Ｉ／Ｆ３１６、通信装置３１７、及び電子コンパス３１８等も接続されている。
【００７１】
画像処理ユニット３０４は、撮像素子３０３ａ及び３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図法の画像の画像データを作成する。
【００７２】
撮像制御ユニット３０５は、一般に、撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ及び３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ及び３０３ｂのレジスタ群にコマンド等を設定する。このとき、必要なコマンド等は、ＣＰＵ３１１から受け取る。また、撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ及び３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。
【００７３】
また、撮像制御ユニット３０５は、操作装置３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ及び３０３ｂに画像データの出力を指示する。全天球画像撮像装置６０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ及び３０３ｂからの画像データの出力は、所定のフレームレートによって連続して行われる。
【００７４】
また、撮像制御ユニット３０５は、ＣＰＵ３１１と協働して撮像素子３０３ａ及び３０３ｂの画像データの出力タイミングの同期をとる制御を行う。なお、本実施形態では、全天球画像撮像装置６０には、表示装置が設けられていないが、表示装置が設けられていても良い。
【００７５】
マイク３０８は、音を音データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施して音声信号を作成する。音声出力装置３１９は、音声信号を音声に変換するスピーカである。
【００７６】
ＣＰＵ３１１は、全天球画像撮像装置６０の全体の動作を制御すると共に、必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特に、ＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒図法により作成された画像の画像データを記憶する。
【００７７】
操作装置３１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネル等である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件等を入力することができる。
【００７８】
外部Ｉ／Ｆ３１６は、ＳＤカード等の外付けのメディアやＰＣ等とのインタフェース（例えば、ＵＳＢ  Ｉ／Ｆ等）である。また、外部Ｉ／Ｆ３１６は、無線、有線を問わずにネットワークインタフェースであっても良い。ＤＲＡＭ３１４に記憶された正距円筒図法により作成された画像の画像データは、この外部Ｉ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じて外部Ｉ／Ｆ３１６を介して外部装置（例えば、ＰＣ等）に送信されたりしても良い。
【００７９】
通信装置３１７は、全天球画像撮像装置６０に設けられたアンテナ３１７ａを介して、Ｗｉ−Ｆｉ(Wireless Fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の無線技術によって外部装置と通信を行う。この通信装置３１７を介して、正距円筒図法により作成された画像の画像データを外部装置に送信しても良い。
【００８０】
電子コンパス３１８は、地球の磁気から全天球画像撮像装置６０の方位及び傾き(Ｒｏｌｌ回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はＥｘｉｆに沿った関連情報（メタデータ）であり、例えば、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、画像データのデータ容量等も含まれる。
【００８１】
本実施形態に係る全天球画像撮像装置６０は、図５に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
【００８２】
＜機能構成＞
次に、第一の実施形態に係るサーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０の機能構成について説明する。図６は、第一の実施形態に係るサーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０の機能ブロックの一例を示す図である。
【００８３】
≪サーバ１０の機能構成≫
サーバ１０は、通信部１１、画像調整部１２、加速度データ加工部１３、操作入力受付部１４、同期指示部１５、表示画像作成部１６、及び記憶・読出部１９を有する。これらの各部は、図３に示されている各構成要素のいずれかが、ＲＡＭ１０３上に展開された画像処理プログラム１０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される。
【００８４】
また、サーバ１０は、図３に示されているＨＤ１０４、ＲＯＭ１０２、及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部１０００を有する。記憶部１０００には、画像処理プログラム１０１０、測定データＤＢ１００１、画像データＤＢ１００２、及びタスク設定テーブル１００３が記憶されている。
【００８５】
ここで、測定データＤＢ１００１には、加速度測定装置５０から送信された測定データが記憶される。画像データＤＢ１００２には、全天球画像撮像装置６０から送信された画像データが記憶される。なお、タスク設定テーブル１００３の詳細については後述する。
【００８６】
通信部１１は、ＣＰＵ１０１からの命令、及びネットワークＩ／Ｆ１０９等によって実現され、ネットワークＮを介して、加速度測定装置５０、全天球画像撮像装置６０、及び表示装置３０と各種データの送受信を行う。
【００８７】
なお、以降では、サーバ１０が通信部１１の機能で通信する場合でも「通信部１１を介して通信する」という記載を省略する場合がある。表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０についても同様である。
【００８８】
画像調整部１２は、ＣＰＵ１０１からの命令等により実現され、全天球画像撮像装置６０から取得した画像データと、加速度測定装置５０から取得した測定データとの時間軸を同期させる。
【００８９】
加速度データ加工部１３は、ＣＰＵ１０１からの命令等により実現され、離散的な測定データを、例えば、滑らかに結合する等により、時間軸に対して連続的なグラフで表されるデータに変換する。
【００９０】
操作入力受付部１４は、ＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等によるサーバ１０への各種の操作や入力を受け付ける。
【００９１】
同期指示部１５は、ＣＰＵ１０１からの命令等により実現され、測定データと画像データとの同期に関する処理を行う。具体的には、同期指示部１５は、同時期に、加速度測定装置５０及び全天球画像撮像装置６０に対して、それぞれ測定開始及び撮像開始を要求する。同様に、同期指示部１５は、同時期に、加速度測定装置５０及び全天球画像撮像装置６０に対して、それぞれ測定終了及び撮像終了を要求する。また、同期指示部１５は、同期のための絶対時刻を全天球画像撮像装置６０及び加速度測定装置５０に提供したりする。
【００９２】
表示画像作成部１６は、ＣＰＵ１０１からの命令等により実現され、タスク設定テーブル１００３と、全天球画像撮像装置６０から受信した画像データとに基づいて、表示画像データを作成する。すなわち、表示画像作成部１６は、タスク設定テーブル１００３を参照して、画像データに含まれる各フレームデータに対してタスクを対応付けることで、表示画像データを作成する。
【００９３】
記憶・読出部１９は、ＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶されている各種データを読み出したりする処理を行う。
【００９４】
なお、以降では、サーバ１０が記憶部１０００にアクセスする場合でも「記憶・読出部１９を介して読み書きする」という記載を省略する場合がある。表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０についても同様である。
【００９５】
≪表示装置３０の機能構成≫
表示装置３０は、通信部３１、表示制御部３２、操作入力受付部３３、画像回転部３４、及び記憶・読出部３９を有する。これら各部は、図３に示されている各構成要素のいずれかが、ＲＡＭ１０３上に展開された端末プログラム３０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される。なお、これら各部は、端末プログラム３０１０に限られず、例えば、サーバ１０が送信するＷｅｂページ（ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）、ＪａｖａＳｃｒｉｐｔ（登録商標）等）によって実現されても良い。
【００９６】
また、表示装置３０は、図３に示されているＨＤ１０４、ＲＯＭ１０２、及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部３０００を有する。記憶部３０００には、端末プログラム３０１０が記憶されている。また、記憶部３０００にはサーバ１０から送信された測定データと表示画像データとが記憶される。
【００９７】
通信部３１は、ＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ１０９等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００９８】
表示制御部３２は、ＣＰＵ１０１からの命令等によって実現され、サーバ１０から受信した表示画像データと測定データとをディスプレイ１０８に表示する。
【００９９】
操作入力受付部３３は、ＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。
【０１００】
画像回転部３４は、ＣＰＵ１０１からの命令等によって実現され、被験者２００が写っている領域がディスプレイ１０８に表示されるように、全天球画像である表示画像データを水平方向に回転させる（又はトリミングする）。
【０１０１】
記憶・読出部３９は、ＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出したりする処理を行う。
【０１０２】
≪加速度測定装置５０の機能構成≫
加速度測定装置５０は、通信部５１、加速度検出部５２、音出力部５３、及び記憶・読出部５９を有する。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ２０３上に展開された装置プログラム５０１０に従ったＣＰＵ２０１からの命令によって動作することで実現される。
【０１０３】
また、加速度測定装置５０は、図４に示されているフラッシュメモリ２０４、ＲＯＭ２０２及びＲＡＭ２０３のいずれか１つ以上によって構築される記憶部５０００を有する。記憶部５０００には、装置プログラム５０１０が記憶されている。また、記憶部５０００には、加速度測定装置５０が測定した加速度等の測定値を含む測定データが記憶される。
【０１０４】
通信部５１は、ＣＰＵ２０１からの命令、及び通信装置２１２等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【０１０５】
加速度検出部５２は、ＣＰＵ２０１からの命令、及び加速度・方位センサ２０５等によって実現され、加速度測定装置５０に生じる加速度を測定する。加速度は、一定間隔又は不定期に測定され、時間と共に変化する加速度が測定値として得られる。そして、加速度検出部５２は、時系列で得られた測定値を含む測定データを記憶部５０００に記憶する。
【０１０６】
音出力部５３は、ＣＰＵ２０１からの命令、及び音声出力装置２１１等によって実現され、例えばブザー音等の音を出力する。
【０１０７】
記憶・読出部５９は、ＣＰＵ２０１からの命令、フラッシュメモリ２０４、ＲＯＭ２０２、及びＲＡＭ２０３等により実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりする処理を行う。
【０１０８】
≪全天球画像撮像装置６０の機能構成≫
全天球画像撮像装置６０は、通信部６１、撮像部６２、音出力部６３、及び記憶・読出部６９を有する。これら各部は、図５に示されている各構成要素のいずれかが、ＳＲＡＭ３１３又はＤＲＡＭ３１４に展開された撮像プログラム６０１０に従ったＣＰＵ３１１からの命令によって動作することで実現される。
【０１０９】
また、全天球画像撮像装置６０は、図５に示されているＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって構築される記憶部６０００を有する。記憶部６０００には、撮像プログラム６０１０が記憶されている。また、記憶部６０００には、全天球画像撮像装置６０により撮像された画像データが記憶される。
【０１１０】
通信部６１は、ＣＰＵ３１１からの命令、通信装置３１７、及び外部Ｉ／Ｆ３１６等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【０１１１】
撮像部６２は、ＣＰＵ３１１からの命令、撮像ユニット３０１、及び画像処理ユニット３０４等によって実現され、全天球画像を撮像し画像データを生成する。すなわち、撮像部６２は、例えば、一定間隔又は不定期に撮像することで、撮像間隔毎のフレームデータが含まれる画像データを生成する。
【０１１２】
音出力部６３は、ＣＰＵ３１１からの命令、及び音声出力装置３１９等によって実現され、例えばブザー音等の音を出力する。
【０１１３】
なお、本実施形態では、上述したように、画像データは、動画の画像データであるものとして説明するが、これに限られず、静止画の画像データであっても良い。この場合、撮像部６２は、例えば、被験者２００が一連の動作を行っている間、所定の時間の間隔毎に撮像することで、複数の画像データを生成すれば良い。
【０１１４】
そして、撮像部６２は、時系列のフレームデータが含まれる画像データを記憶部６０００に記憶する。なお、撮像部６２は、静止画の画像データを生成した場合には、時系列の複数の画像データを記憶部６０００に記憶する。
【０１１５】
記憶・読出部６９は、ＣＰＵ３１１からの命令、ＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって実現され、記憶部６０００に各種データを記憶したり、記憶部６０００に記憶された各種データを読み出したりする処理を行う。
【０１１６】
≪タスク設定テーブル１００３のデータ構成≫
ここで、タスク設定テーブル１００３のデータ構成について説明する。図７は、タスク設定テーブルの一例を示す図である。
【０１１７】
図７に示すように、タスク設定テーブル１００３は、データ項目として、「タスク」と、「撮像範囲」とを有する。「タスク」は、被験者２００が行うべき動作である。「撮像範囲」は、全天球画像の経度方向（全天球画像の水平方向）における撮像範囲である。すなわち、タスク設定テーブル１００３は、全天球画像撮像装置６０により撮像された全天球画像における撮像範囲毎に、タスクが対応付けられている。
【０１１８】
より具体的に説明する。まず、全天球画像撮像装置６０により撮像された全天球画像を上面（天井の位置）から見た場合、図８に示すようなものであったとする。すなわち、図８は、全天球画像撮像装置６０の周囲３６０°の範囲（経度方向における範囲）が撮像された画像を、上面から見た画像である。
【０１１９】
この場合、図８に示すように、当該全天球画像の経度方向における撮像範囲と、タスクとが１対１となるように、ラインＬを決めると共に、椅子Ｏ１や障害物Ｏ２を設置することにより、タスクと撮像範囲とを対応付けることができる。
【０１２０】
すなわち、例えば、図７及び図８に示すように、撮像範囲「０°〜１０°、３５０°〜３６０°」と、「起立又は着席」タスクとを対応付けることができる。これにより、全天球画像において、被験者２００が、経度方向における撮像範囲「０°〜１０°、３５０°〜３６０°」に写っている場合には、指導者等は、被験者２００が「起立又は着席」の動作を行うべきであることを知ることができる。
【０１２１】
同様に、例えば、図７及び図８に示すように、撮像範囲「１０°〜９０°」と、「直線歩行」タスクとを対応付けることができる。これにより、全天球画像において、被験者２００が経度方向における撮像範囲「１０°〜９０°」に写っている場合には、指導者等は、被験者２００が「直線歩行」の動作を行うべきであることを知ることができる。「旋回歩行」タスクや「障害物またぎ歩行」タスク等についても同様である。
【０１２２】
なお、このようなタスク設定テーブル１００３は、例えば、被験者２００が一連の動作を始める前に、全天球画像撮像装置６０により予め撮像された全天球画像を用いて、指導者等が作成することができる。すなわち、指導者等は、例えば、予め撮像された図８に示す全天球画像を表示装置３０に表示させて、マウス１１２やキーボード１１１等で撮像範囲を指定した上で、タスクを入力又は選択することで、タスク設定テーブル１００３を作成することができる。
【０１２３】
＜被験者２００の各動作について＞
ここで、全天球画像撮像装置６０の周囲で、被験者２００がどのような動作を行うかについて説明する。図９は、被験者２００の一連の動作の一例を説明する図である。
【０１２４】
図９に示すように、被験者２００は、加速度測定装置５０を腰等に装着している。加速度測定装置５０が装着される場所は、被験者２００の重心に近い場所であることが好ましいが、腰の他、胸、背中、胴部等に装着されても良い。また、被験者２００は、複数台の加速度測定装置５０を装着していても良い。
【０１２５】
被験者２００は、まず、椅子Ｏ１に着席している状態から起立して、ラインＬに沿って歩行した後、再度、椅子Ｏ１に着席する。このとき、被験者２００は、ラインＬに沿って、「直線歩行」と、「旋回歩行」と、ラインＬ上に設置された障害物Ｏ２を跨ぎながら歩行する「障害物またぎ歩行」とを行う。このように、被験者２００が椅子Ｏ１から起立した後、再度着席するまでの一連の動作を行うことで、指導者等は、被験者２００の起立動作、直線歩行動作、旋回歩行動作、障害物またぎ歩行動作、着席動作等を効率的に評価することができる。
【０１２６】
なお、複数の被験者２００間の一連の動作の比較を容易にするため、又は被験者２００自身が歩行する経路を認識できるように、ラインＬ上にマーカ等が配置されていても良い。これにより、指導者等は、表示画像データを確認する際に、全天球画像撮像装置６０に対する被験者２００の位置を容易に把握できる。
【０１２７】
なお、被験者２００が一連の動作を行っている間、加速度測定装置５０は、被験者２００の加速度を測定している。被験者２００と加速度測定装置５０の相対位置は固定されているものとして、被験者２００の前方方向をｘ方向、左右方向をｙ方向、垂直方向をｚ方向とする。
【０１２８】
また、被験者２００は、上記の一連の動作を行わなければならないわけではなく、被験者２００毎に一連の動作に含まれる各動作が異なっていても良い。例えば、ある被験者２００は、「障害物またぎ歩行」を行わなくても良いし、他の動作（例えば、障害物Ｏ２を左に避けながら歩行する動作）を行うようにしても良い。さらに、上記の一連の動作には、複数の動作が含まれていなければならないわけではなく、例えば、１つの動作のみが含まれている場合であっても良い。
【０１２９】
＜動作手順＞
次に、本実施形態に係る画像表示システム１００の動作手順について説明する。
【０１３０】
≪全体的な動作≫
図１０は、画像表示システム１００の全体的な動作の一例を説明するシーケンス図である。図１０は、サーバ１０が、加速度測定装置５０及び全天球画像撮像装置６０に対して、それぞれ測定開始の要求及び撮像開始の要求を行う場合のシーケンス図である。
【０１３１】
まず、被験者２００の一連の動作の測定を始める際、指導者等は、当該一連の動作の測定を開始するための操作をサーバ１０に入力する。すると、サーバ１０の操作入力受付部１４は、指導者等の操作を受け付ける（ステップＳ１０１）。
【０１３２】
次に、サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作を受け付けると、通信部１１を介して、測定開始要求を加速度測定装置５０に送信する（ステップＳ１０２）。
【０１３３】
加速度測定装置５０の音出力部５３は、通信部５１により測定開始要求を受信すると、ブザー音等を出力する（ステップＳ１０３）。これにより、被験者２００は、一連の動作を開始して良いことを知ることができる。
【０１３４】
なお、加速度測定装置５０は、例えば、「動作を開始して下さい」等の音声メッセージ、バイブレーション機能による振動、ディスプレイ２１４へのメッセージの表示、ディスプレイ２１４の明滅等により被験者２００に一連の動作の開始を知らせても良い。
【０１３５】
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像開始要求を全天球画像撮像装置６０に送信する（ステップＳ１０４）。
【０１３６】
全天球画像撮像装置６０の音出力部６３は、通信部６１により撮像開始要求を受信すると、ブザー音等を出力する（ステップＳ１０５）。これにより、上記と同様に、被験者２００は、一連の動作を開始して良いことを知ることができる。
【０１３７】
なお、全天球画像撮像装置６０は、上記のステップＳ１０３と同様に、音声メッセージや振動等により被験者２００に一連の動作の開始を知らせても良い。
【０１３８】
また、全天球画像撮像装置６０は、被験者２００の視野に入る場合があるので、例えば、パトランプ等を点灯させても良い。これにより、被験者２００だけでなく周囲の指導者等も、被験者２００が一連の動作を開始して良いことを知ることができる。
【０１３９】
なお、ステップＳ１０３及びステップＳ１０５のブザーによる通知は、いずれか１つが行われれば良い。
【０１４０】
次に、加速度測定装置５０の加速度検出部５２は、加速度の測定を開始する（ステップＳ１０６）。そして、加速度測定装置５０の加速度検出部５２は、被験者２００が一連の動作を行っている間に生じる加速度を測定して、時系列で得られた測定値を含む測定データを記憶部５０００に記憶させる。
【０１４１】
また、全天球画像撮像装置６０の撮像部６２は、撮像を開始する（ステップＳ１０７）。そして、全天球画像撮像装置６０の撮像部６２は、一連の動作を行っている被験者２００を撮像することで得られた画像データを記憶部６０００に記憶させる。
【０１４２】
このように、加速度測定装置５０及び全天球画像撮像装置６０は、サーバ１０からの指示により、測定データの測定開始と画像データの撮像開始とをほぼ同時に同期させることができる。
【０１４３】
なお、ステップＳ１０２及びステップＳ１０４の順序は順不同である。サーバ１０は、同時期に、測定開始要求と撮像開始要求とを、それぞれ加速度測定装置５０と全天球画像撮像装置６０に送信すれば良い。
【０１４４】
次に、例えば、被験者２００が一連の動作を終えた場合、指導者等は、一連の動作の測定を終了する操作をサーバ１０に入力する。すると、サーバ１０の操作入力受付部１４は、指導者等の操作を受け付ける（ステップＳ１０８）。
【０１４５】
次に、サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作を受け付けると、通信部１１を介して、測定終了要求を加速度測定装置５０に送信する（ステップＳ１０９）。そして、加速度測定装置５０の加速度検出部５２は、通信部５１により測定終了要求を受信すると、加速度の測定を終了する。なお、ステップＳ１０３と同様に、測定の終了をブザー等で被験者２００等に通知しても良い。
【０１４６】
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像終了要求を全天球画像撮像装置６０に送信する（ステップＳ１１０）。そして、全天球画像撮像装置６０の撮像部６２は、通信部６１により撮像終了要求を受信すると、撮像を終了する。なお、ステップＳ１０５と同様に、撮像の終了をブザー等で被験者２００等に通知しても良い。
【０１４７】
このように、加速度測定装置５０及び全天球画像撮像装置６０は、サーバ１０からの指示により、測定データの測定終了と画像データの撮像終了とをほぼ同時に同期させることができる。
【０１４８】
なお、ステップＳ１０９及びステップＳ１１０の順序は順不同である。サーバ１０は、同時期に、測定終了要求と撮像終了要求とを、それぞれ加速度測定装置５０と全天球画像撮像装置６０に送信すれば良い。
【０１４９】
次に、加速度測定装置５０の通信部５１は、記憶部５０００に記憶されている測定データをサーバ１０に送信する（ステップＳ１１１）。また、全天球画像撮像装置６０の通信部６１は、記憶部６０００に記憶されている画像データをサーバ１０に送信する（ステップＳ１１２）。
【０１５０】
次に、サーバ１０の加速度データ加工部１３は、通信部１１により測定データ及び画像データを受信すると、測定データを測定データＤＢ１００１に記憶させると共に、画像データを画像データＤＢ１００２に記憶させる。そして、加速度データ加工部１３は、離散的なデータである測定データを、例えば、折線グラフ等で表される連続的なデータに加工する（ステップＳ１１３）。なお、このような加工は、表示装置３０が行っても良い。
【０１５１】
次に、サーバ１０の画像調整部１２は、測定データと画像データの時間軸を同期させる処理を行う（ステップＳ１１４）。すなわち、画像調整部１２は、測定データに含まれる各測定値と、画像データに含まれる各フレームデータとを対応付ける。
【０１５２】
ここで、測定データ及び画像データは、ほぼ同じ時間で取得されているが、測定データのデータ数（測定値の数）と、画像データのデータ数（フレームデータの数）とは異なっている場合が多い。このため、画像調整部１２は、測定データと画像データとを対応付けることで時間軸を同期させる。測定開始時刻と撮像開始時刻とがほぼ同じで、測定終了時刻と撮像終了時刻とがほぼ同じなので、画像調整部１２は、測定データと画像データのデータ数の比率で時間軸を同期させることができる。
【０１５３】
例えば、測定データのデータ数が２００、画像データのデータ数が４００の場合、画像データに含まれる２つのフレームデータを、測定データに含まれる１つの測定値に対応付ければ良い。又は、測定時間に対する各測定値の測定時刻の比と、撮像時間に対する各フレームデータの撮像時刻の比とをそれぞれ算出し、比が最も近いフレームデータと測定値とを対応付けても良い。又は、測定開始からの経過時間と、撮像開始からの経過時間とがほぼ同じ測定値とフレームデータとを対応付けても良い。
【０１５４】
また、後述するように、測定開始時刻、測定終了時刻、撮像開始時刻、及び撮像終了時刻の絶対時刻が得られる場合には、画像調整部１２は、次のようにして、測定データと画像データとを対応付けても良い。すなわち、画像調整部１２は、測定開始時刻から測定終了時刻までの時間と、撮像開始時刻から撮像終了時刻までの時間との重複部分における測定値及びフレームデータを取り出して、上記と同様の比率計算等で対応付ければ良い。
【０１５５】
次に、サーバ１０の表示画像作成部１６は、タスク設定テーブル１００３を参照して、画像データに含まれるフレームデータ毎に、タスクを特定する。そして、表示画像作成部１６は、特定したタスクと、フレームデータとを対応付けることで、表示画像データを作成する（ステップＳ１１５）。
【０１５６】
これにより、例えば、時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）毎のフレームデータが画像データに含まれる場合、時刻ｔ＝ｔ１〜ｔＫ（Ｋ＜Ｎ）のフレームデータが、「起立又は着席」タスクと対応付けられる。同様に、例えば、時刻ｔ＝ｔＫ＋１〜ｔＬ（Ｌ＜Ｎ）のフレームデータが、「直線歩行」タスクと対応付けられる。同様に、例えば、時刻ｔ＝ｔＬ＋１〜ｔＭ（Ｍ＜Ｎ）のフレームデータが、「旋回歩行」タスクと対応付けられる。
【０１５７】
このように、表示画像作成部１６は、タスクが対応付けられたフレームデータを含む表示画像データを作成する。このため、指導者等は、被験者２００が行うべき動作（タスク）を確認することができるようになる。なお、ステップＳ１１５の処理の詳細については後述する。
【０１５８】
次に、サーバ１０の通信部１１は、測定データと表示画像データとを表示装置３０に送信する（ステップＳ１１６及びＳ１１７）。
【０１５９】
具体的には、例えば、指導者等は、表示装置３０等を介して、サーバ１０に測定データと表示画像データとを要求する。又は、指導者等は、測定データと表示画像データとを要求する操作をサーバ１０に対して行って、サーバ１０の操作入力受付部１４がこの操作を受け付けても良い。又は、表示装置３０がポーリング等により、測定データと表示画像データの有無を問い合わせて、この問い合わせに対してサーバ１０が測定データと表示画像データを表示装置３０に送信しても良い。
【０１６０】
次に、表示装置３０の表示制御部３２は、通信部３１により測定データと表示画像データとを受信すると、測定データと表示画像データとディスプレイ１０８に表示する（ステップＳ１１８）。なお、測定データと表示画像データとを表示するための処理については、後述する。
【０１６１】
≪全体的な動作の変形例（その１）≫
ここで、画像表示システム１００の全体的な動作の変形例（その１）について説明する。図１１は、画像表示システム１００の全体的な動作の変形例（その１）を説明するシーケンス図である。図１１に示す変形例（その１）では、測定開始の契機が図１０と異なる。なお、図１１のステップＳ２０３〜ステップＳ２０８及びステップＳ２１１〜ステップＳ２２０は、それぞれ、図１０のステップＳ１０２〜ステップＳ１０７及びステップ１０９〜ステップＳ１１８と同様であるため、その説明を省略する。
【０１６２】
まず、被験者２００の一連の動作の測定を始める際、指導者等は、当該一連の動作の測定を開始するための操作を表示装置３０に入力する。すると、表示装置３０の操作入力受付部３３は、指導者等の操作を受け付ける（ステップＳ２０１）。
【０１６３】
次に、表示装置３０の通信部３１は、操作入力受付部３３により指導者等の操作を受け付けると、測定開始要求をサーバ１０に送信する（ステップＳ２０２）。なお、表示装置３０は、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）等でサーバ１０と通信することができる。また、測定開始要求は、加速度の測定開始と被験者２００の撮像開始のうちの少なくとも一方を要求するものである。
【０１６４】
例えば、被験者２００が一連の動作を終えた場合、指導者等は、一連の動作の測定を終了する操作を表示装置３０に入力する。すると、表示装置３０の操作入力受付部３３は、指導者等の操作を受け付ける（ステップＳ２１２）。
【０１６５】
次に、表示装置３０の通信部３１は、操作入力受付部３３により指導者等の操作を受け付けると、測定終了要求をサーバ１０に送信する（ステップＳ２１３）。なお、測定終了要求は、加速度の測定終了と被験者２００の撮像終了のうちの少なくとも一方を要求するものである。
【０１６６】
このように、図１１に示す全体的な動作の変形例（その１）では、指導者等は、サーバ１０を操作しなくても表示装置３０から測定開始と測定終了をサーバ１０に要求することができる。このため、指導者等が表示装置３０を操作している場合は、指導者等は、サーバ１０まで移動する必要なく、測定を開始することができる。
【０１６７】
≪全体的な動作の変形例（その２）≫
次に、画像表示システム１００の全体的な動作の変形例（その２）について説明する。図１２は、画像表示システム１００の全体的な動作の変形例（その２）を説明するシーケンス図である。図１２に示す変形例（その２）では、被験者２００が一連の動作を開始したことを測定開始の契機とするものである。被験者２００は、例えば、指導者等の指示等により椅子Ｏ１から立ち上がって（起立して）、歩行を開始する。なお、図１２のステップＳ３０５〜ステップＳ３０８及びステップＳ３１１〜ステップＳ３１８は、それぞれ、図８のステップＳ１０８〜ステップＳ１１０及びステップＳ１１５〜ステップＳ１２３と同様であるため、その説明を省略する。
【０１６８】
まず、加速度測定装置５０の加速度検出部５２は、加速度に基づいて被験者２００が椅子Ｏ１から起立したことを検知する（ステップＳ３０１）。すなわち、加速度検出部５２は、被験者２００の一連の動作の開始を検知する。
【０１６９】
例えば、加速度検出部５２は、ｚ方向で閾値以上の上向きの加速度が検出されたことで、被験者２００が椅子Ｏ１から起立したことを検知することができる。
【０１７０】
そして、加速度測定装置５０の加速度検出部５２は、被験者２００が椅子Ｏ１から起立したことを検知すると、加速度の測定を開始する。
【０１７１】
次に、加速度測定装置５０の通信部５１は、動作開始通知をサーバ１０に送信する（ステップＳ３０２）。また、加速度測定装置５０の音出力部５３は、一連の動作が開始されたことを知らせるためのブザー音等を出力する（ステップＳ３０３）。
【０１７２】
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像開始要求を全天球画像撮像装置６０に送信する（ステップＳ３０４）。なお、加速度測定装置５０は、全天球画像撮像装置６０に、撮像開始要求として、動作開始通知を送信しても良い。
【０１７３】
加速度測定装置５０の加速度検出部５２は、加速度に基づいて被験者２００が再び椅子Ｏ１に着席したことを検知する（ステップＳ３０８）。すなわち、加速度検出部５２は、被験者２００の一連の動作の終了を検知する。
【０１７４】
例えば、加速度検出部５２は、ｚ方向で閾値以上の下向きの加速度が検出された後、加速度が検出されなくなったで（加速度が０になったことで）、被験者２００が再び椅子Ｏ１に着席したことを検知することができる。
【０１７５】
そして、加速度検出部５２は、被験者２００が再び椅子Ｏ１に着席したことを検知すると、加速度の測定を終了する。
【０１７６】
加速度測定装置５０の通信部５１は、動作終了通知をサーバ１０に送信する（ステップＳ３０９）。
【０１７７】
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像終了要求を全天球画像撮像装置６０に送信する（ステップＳ３１０）。なお、加速度測定装置５０は、全天球画像撮像装置６０に、撮像終了要求として、動作終了通知を送信しても良い。
【０１７８】
このように、図１２に示す全体的な動作の変形例（その２）では、指導者等が測定開始や測定終了等の操作を行わなくても、被験者２００が一連の動作を開始することで、測定を開始及び終了することができる。
【０１７９】
≪全体的な動作の変形例（その３）≫
次に、画像表示システム１００の全体的な動作の変形例（その３）について説明する。図１３は、画像表示システム１００の全体的な動作の変形例（その３）を説明するシーケンス図である。図１３に示す変形例（その３）では、絶対時刻を用いて測定データと画像データとを同期させるものである。なお、図１３におけるステップＳ４０１〜ステップＳ４０３、ステップＳ４０５〜ステップＳ４０６、及びステップＳ４０８〜ステップＳ４１１は、それぞれ、図８のステップＳ１０１〜ステップＳ１０３、ステップＳ１０４〜ステップＳ１０５、及びステップＳ１０６〜ステップＳ１０９と同様であるため、その説明を省略する。また、図１３におけるステップＳ４１３及びステップＳ４１５〜ステップＳ４２２は、それぞれ、図８のステップＳ１１０及びステップＳ１１１〜ステップＳ１１８と同様であるため、その説明を省略する。
【０１８０】
加速度測定装置５０の通信部５１は、測定開始要求を受信すると、開始時刻要求をサーバ１０に送信する（ステップＳ４０４）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、加速度測定装置５０が測定を開始した絶対時刻（測定開始時刻）を返信する。これにより、加速度測定装置５０は、測定開始時刻を得ることができる。
【０１８１】
次に、全天球画像撮像装置６０の通信部６１は、撮像開始要求を受信すると、開始時刻要求をサーバ１０に送信する（ステップＳ４０７）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、全天球画像撮像装置６０が撮像を開始した絶対時刻（撮像開始時刻）を返信する。これにより、全天球画像撮像装置６０は、撮像開始時刻を得ることができる。
【０１８２】
加速度測定装置５０の通信部５１は、測定終了要求を受信すると、終了時刻要求をサーバ１０に送信する（ステップＳ４１２）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、加速度測定装置５０が測定を終了した絶対時刻（測定終了時刻）を返信する。これにより、加速度測定装置５０は、測定終了時刻を得ることができる。
【０１８３】
全天球画像撮像装置６０の通信部６１は、撮像終了要求を受信すると、終了時刻要求をサーバ１０に送信する（ステップＳ４１４）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、全天球画像撮像装置６０が撮像を終了した絶対時刻（撮像終了時刻）を返信する。これにより、全天球画像撮像装置６０は、撮像終了時刻を得ることができる。
【０１８４】
このように、図１３に示す全体的な動作の変形例（その３）では、サーバ１０は、測定開始時刻と測定終了時刻を加速度測定装置５０に返信すると共に、撮像開始時刻と撮像終了時刻を全天球画像撮像装置６０に返信する。このため、変形例（その３）では、サーバ１０は、ステップＳ４１８において、測定データと画像データとを絶対時刻に基づいて対応付ける。したがって、例えば、何らかの理由で加速度の測定開始と撮像開始との間や、加速度の測定終了と撮像終了との間にタイムラグ等が発生しても、サーバ１０は、測定データと画像データの時間軸を同期させることができるようになる。
【０１８５】
≪全体的な動作の変形例（その４）≫
次に、画像表示システム１００の全体的な動作の変形例（その４）について説明する。図１４は、画像表示システム１００の全体的な動作の変形例（その４）を説明するシーケンス図である。図１４に示す変形例（その４）では、加速度測定装置５０が全天球画像撮像装置６０に撮像開始要求を送信すると共に、全天球画像撮像装置６０からの要求に応じて、絶対時刻を返信するものである。なお、図１４のステップＳ５０１〜ステップＳ５０２及びステップＳ５０６は、それぞれ、図８のステップＳ１０１〜ステップＳ１０２及びステップＳ１０３と同様であるため、その説明を省略する。また、図１２のステップＳ５０７〜ステップＳ５１１及びステップＳ５１５〜ステップＳ５２２は、それぞれ、図８のステップＳ１０５〜ステップＳ１０９及びステップＳ１１１〜ステップＳ１１８と同様であるため、その説明を省略する。
【０１８６】
加速度測定装置５０の通信部５１は、測定開始要求を受信すると、全天球画像撮像装置６０に撮像開始要求を送信する（ステップＳ５０３）。
【０１８７】
全天球画像撮像装置６０の通信部６１は、撮像開始要求を受信すると、開始時刻要求を加速度測定装置５０に送信する（ステップＳ５０４）。
【０１８８】
次に、加速度測定装置５０の通信部５１は、開始時刻要求を受信すると、開始時刻要求をサーバ１０に送信する（ステップＳ５０５）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、測定開始時刻を返信する。そして、加速度測定装置５０の通信部５１は、測定開始時刻を受信すると、撮像開始時刻を全天球画像撮像装置６０に返信する。
【０１８９】
なお、加速度測定装置５０は、サーバ１０から受信した測定開始時刻と同じ時刻を、撮像開始時刻として全天球画像撮像装置６０に返信すれば良い。
【０１９０】
なお、ステップＳ５０４において、加速度測定装置５０が保持している時刻（現在の時刻）を撮像開始時刻として全天球画像撮像装置６０に返信しても良い。加速度測定装置５０は、現在の時刻から加速度の測定を開始すると共に、全天球画像撮像装置６０は撮像開始時刻から撮像を開始するので、測定開始時刻と撮像開始時刻とを同期させることができる。
【０１９１】
加速度測定装置５０の通信部５１は、測定終了要求を受信すると、全天球画像撮像装置６０に撮像終了要求を送信する（ステップＳ５１２）。
【０１９２】
全天球画像撮像装置６０の通信部６１は、撮像終了要求を受信すると、終了時刻要求を加速度測定装置５０に送信する（ステップＳ５１３）。
【０１９３】
次に、加速度測定装置５０の通信部５１は、終了時刻要求を受信すると、終了時刻要求をサーバ１０に送信する（ステップＳ５１４）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、測定終了時刻を返信する。そして、加速度測定装置５０の通信部５１は、測定終了時刻を受信すると、撮像終了時刻を全天球画像撮像装置６０に返信する。
【０１９４】
なお、加速度測定装置５０は、サーバ１０から受信した測定終了時刻と同じ時刻を、撮像終了時刻として全天球画像撮像装置６０に返信すれば良い。
【０１９５】
なお、ステップＳ５１３において、加速度測定装置５０が保持している時刻（現在の時刻）を撮像終了時刻として全天球画像撮像装置６０に返信しても良い。加速度測定装置５０は、現在の時刻で加速度の測定を終了すると共に、全天球画像撮像装置６０は撮像終了時刻に撮像を終了するので、測定終了時刻と撮像終了時刻とを同期させることができる。
【０１９６】
≪全体的な動作の変形例（その５）≫
次に、画像表示システム１００の全体的な動作の変形例（その５）について説明する。図１５は、画像表示システム１００の全体的な動作の変形例（その５）を説明するシーケンス図である。図１５に示す変形例（その５）では、全天球画像撮像装置６０が加速度測定装置５０に測定開始を要求するものである。なお、図１５のステップＳ６０１及びステップＳ６０４は、それぞれ、図８のステップＳ１０１及び１０３と同様であるため、その説明を省略する。また、図１５のステップＳ６０５〜ステップＳ６０８及びステップＳ６１４〜ステップＳ６１９は、それぞれ、図８のステップＳ１０５〜ステップＳ１０８及びステップＳ１１３〜ステップＳ１１８と同様であるため、その説明を省略する。
【０１９７】
サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作（一連の動作の測定を開始するための操作）を受け付けると、通信部１１を介して、撮像開始要求を全天球画像撮像装置６０に送信する（ステップＳ６０２）。
【０１９８】
次に、全天球画像撮像装置６０の通信部６１は、撮像開始要求を受信すると、測定開始要求を加速度測定装置５０に送信する（ステップＳ６０３）。
【０１９９】
サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作（一連の動作の測定を終了するための操作）を受け付けると、通信部１１を介して、撮像終了要求を全天球画像撮像装置６０に送信する（ステップＳ６０９）。
【０２００】
次に、全天球画像撮像装置６０の通信部６１は、撮像終了要求を受信すると、測定終了要求を加速度測定装置５０に送信する（ステップＳ６１０）。
【０２０１】
次に、加速度測定装置５０の通信部５１は、記憶部５０００に記憶されている測定データを全天球画像撮像装置６０に送信する（ステップＳ６１１）。また、全天球画像撮像装置６０の通信部６１は、記憶部６０００に記憶されている画像データと、加速度測定装置５０から受信した測定データとをサーバ１０に送信する（ステップＳ６１２及びステップＳ６１３）。
【０２０２】
このように、図１５に示す全体的な動作の変形例（その５）では、全天球画像撮像装置６０が中継して、加速度測定装置５０に開始要求を送信する。このため、例えば、加速度測定装置５０がネットワークＮに接続されていない場合に、全天球画像撮像装置６０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いて、加速度測定装置５０に開始要求を送信することができる。
【０２０３】
≪表示画像の作成処理≫
次に、図８のステップＳ１１５におけるタスクの特定及び表示画像の作成処理について説明する。図１６は、タスクの特定及び表示画像の作成処理の一例を説明するフローチャートである。ここで、以降では、全天球画像撮像装置６０により生成された画像データには、時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）毎に、Ｎ個のフレームデータが含まれているものとする。なお、Δｔｎ＝ｔｎ−ｔｎ−１（ｎ＝２，３，・・・，Ｎ）は、撮像間隔である。
【０２０４】
まず、表示画像作成部１６は、時刻ｔ＝ｔｎ（ｎ＝１）とする（ステップＳ７０１）。
【０２０５】
次に、表示画像作成部１６は、時刻ｔ＝ｔｎのフレームデータを画像データから取得する（ステップＳ７０２）。
【０２０６】
次に、表示画像作成部１６は、ステップＳ７０２で取得したフレームデータから被験者２００を特定する（ステップＳ７０３）。ここで、表示画像作成部１６は、被験者２００の顔を認識することで、被験者２００を特定すれば良い。ただし、これに限られず、表示画像作成部１６は、例えば、被験者２００の足の位置を認識することで、被験者２００を特定しても良い。また、表示画像作成部１６は、被験者２００が写っている範囲を含む矩形領域を特定することで、被験者２００を特定しても良い。
【０２０７】
次に、表示画像作成部１６は、タスク設定テーブル１００３を参照して、ステップＳ７０３で特定した被験者２００が含まれる撮像範囲からタスクを特定する（ステップＳ７０４）。
【０２０８】
ここで、タスクの特定について、図１７を用いて説明する。図１７は、タスクの特定の一例を説明する図である。
【０２０９】
図１７（ａ）に示すように、ステップＳ７０３で被験者２００の顔を認識することで、当該被験者２００が特定された場合、表示画像作成部１６は、タスク設定テーブル１００３を参照して、顔の位置４０１が含まれる撮像範囲からタスクを特定する。具体的には、図１７（ａ）では、顔の位置４０１が撮像範囲「９０°〜２７０°」に含まれるため、表示画像作成部１６は、タスク設定テーブル１００３において当該撮像範囲「９０°〜２７０°」に対応付けられている「旋回歩行」タスクを特定する。
【０２１０】
また、図１７（ｂ）に示すように、ステップＳ７０３で被験者２００が写っている範囲を含む矩形領域が特定された場合、表示画像作成部１６は、タスク設定テーブル１００３を参照して、矩形領域４０２が含まれる撮像範囲からタスクを特定する。具体的には、図１７（ｂ）では、矩形領域４０２が撮像範囲「２７０°〜３５０°」に含まれるため、表示画像作成部１６は、タスク設定テーブル１００３において当該撮像範囲「２７０°〜３５０°」に対応付けられている「障害物またぎ歩行」タスクを特定する。
【０２１１】
このように、表示画像作成部１６は、タスク設定テーブル１００３を参照して、時刻ｔ＝ｔｎのフレームデータにおける被験者２００のタスクを特定する。
【０２１２】
次に、表示画像作成部１６は、ステップＳ７０４で特定したタスクを、ステップＳ７０２で取得したフレームデータに対応付ける（ステップＳ７０５）。なお、以降では、タスクが対応付けられたフレームデータを、「表示フレームデータ」と表す。
【０２１３】
次に、表示画像作成部１６は、ｎがＮ未満であるか否かを判定する（ステップＳ７０６）。そして、表示画像作成部１６は、ｎがＮ未満である場合、ｎに１を加算して（ステップＳ７０７）、ステップＳ７０２に戻る。このように、表示画像作成部１６は、時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）のフレームデータに対して、タスクを特定した上で、特定したタスクを対応付けた表示フレームデータを作成する。
【０２１４】
一方、表示画像作成部１６は、ｎがＮ未満でない場合、各時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）の表示フレームデータを含む表示画像データを作成する（ステップＳ７０８）。表示画像作成部１６は、このように表示画像データを作成することで、各表示フレームデータにおける被験者２００のタスクを表示することができる。
【０２１５】
なお、例えば、表示装置３０においてストリーミング等により表示画像データを再生する場合には、サーバ１０は、上記のステップＳ７０５の処理が実行された後に、表示フレームデータを表示装置３０に送信すれば良い。
【０２１６】
＜表示画像データと測定データの表示＞
次に、表示画像データと測定データの表示例について説明する。図１８は、表示装置３０により表示された表示画像データと測定データの一例を示す図である。
【０２１７】
図１８に示すデータ表示画面５０１は、主に、画像データ欄５０２と、測定データ欄５０３とを有する。表示制御部３２は、画像データ欄５０２に表示画像データを表示し、測定データ欄５０３に測定データを表示する。
【０２１８】
このとき、表示制御部３２は、表示画像データから被験者２００が写っている所定の撮像範囲を取り出して、画像データ欄５０２に表示する。この処理については、後述する。
【０２１９】
まず、画像データ欄５０２について説明する。指導者等がボタン５０５を押下すると、操作入力受付部３３が当該押下操作を受け付ける。そして、表示制御部３２は、フレームレート（ｆｐｓ）と同じ再生速度で表示画像データを動画として再生する。このとき、表示制御部３２は、表示フレームデータに対応付けられているタスクをタスク表示欄５０４に表示する。これにより、指導者等は、現在再生されている動画において、被験者２００が行うべき動作（タスク）を知ることができる。なお、画像データ欄５０２において再生される動画は、高速再生や低速再生等が可能であっても良い。
【０２２０】
指導者等が、再度、ボタン５０５を押下すると、操作入力受付部３３は、当該押下操作を受け付ける。そして、表示制御部３２は、表示画像データの再生を停止させる。このように、指導者等は、任意のタイミングの表示画像データを表示することができる。なお、表示画像データだけでなく、画像データと共に集音された音声を出力しても良い。
【０２２１】
なお、表示画像データが静止画の場合、指導者等がボタン５０５を押下すると、表示制御部３２は、次の表示画像データを画像データ欄５０２に表示する。同様に、ボタン操作により、表示制御部３２は、前の表示画像データを画像データ欄５０２に表示することができる。また、表示制御部３２は、表示画像データを所定の時間間隔で次々に画像データ欄５０２に表示しても良い。
【０２２２】
次に、測定データ欄５０３について説明する。図１８では、ｘ方向、ｙ方向、及びｚ方向のそれぞれの加速度が時系列で表示されている。図１８において、ｘ方向、ｙ方向、又はｚ方向のうち、指導者等の操作により、任意の１つ以上の方向の加速度を表示させても良い。なお、測定データは、連続的に表示されているが、例えば、表示画像データが静止画である場合には、全天球画像撮像装置６０が画像を撮像したタイミングで加速度測定装置５０により測定された加速度を表示しても良い。
【０２２３】
表示制御部３２は、測定データに含まれる測定値の全てが測定データ欄５０３に表示されるように測定データを変倍して測定データ欄５０３に表示する。なお、表示制御部３２は、ある程度の時間分の測定値を測定データ欄５０３に表示し、所定の時間毎に切り替えても良い。
【０２２４】
図１８（ａ）のように、表示制御部３２は、画像データ欄５０２に表示されているフレーム画像の表示フレームデータに対応付けられている測定値を指し示すバー５０６を測定データ欄５０３に表示させる。例えば、測定データ欄５０３に全体又はある時間分の測定値が表示されており、表示画像データが再生されている場合、表示制御部３２は、表示中のフレーム画像の表示フレームデータに対応付けられている測定値にバー５０６を重畳させる。
【０２２５】
したがって、表示制御部３２は、時間の経過と共に、又は動画の再生が進むにつれて、バー５０６を測定データ欄５０３において右方向に移動させる。なお、指導者等がバー５０６を移動させると操作入力受付部３３が操作を受け付けて、移動後のバー５０６が指し示す測定値に対応付けられている表示フレームデータのフレーム画像を、表示制御部３２が画像データ欄５０２に表示させても良い。
【０２２６】
また、図１８（ｂ）のように、画像データ欄５０２に表示されているフレーム画像の表示フレームデータに対応付けられている測定値と、その前後の測定値とが測定データ欄５０３に表示される。測定データ欄５０３には、例えば、１秒〜数秒程度の間隔の測定値だけが同時に表示される。なお、破線の測定データは、測定データが連続していることを示すもので画面には表示されない。
【０２２７】
図１８（ｂ）の場合、動画や静止画の進行に応じて、表示制御部３２は、画像データ欄５０２に表示されているフレーム画像の表示フレームデータと対応付けられている測定値を測定データ欄５０３の中央に表示する。サーバ１０により画像データと測定データとは対応付けられているので、表示制御部３２は、画像データ欄５０２に表示されているフレーム画像の表示フレームデータに対応付けられている測定値を少なくとも測定データ欄５０３に表示することができる。また、表示制御部３２は、画像データ欄５０２の動画や静止画が停止されると、測定データの表示も停止する。
【０２２８】
≪指導者等による評価について≫
ここで、上記のように、指導者等は、被験者２００の一連の動作を動画で見ることができると共に、動画中で被験者２００が行うべきタスク、被験者２００の加速度等の測定データを確認することができる。
【０２２９】
このため、指導者等は、表示画像データを見ることで、被験者２００がタスク通りの動作を行っているかを表示することができる。また、指導者等は、被験者２００が行っている動作が適切であるか否かを測定データにより確認することもできる。
【０２３０】
例えば、測定データが加速度であり、被験者２００が直線歩行する場合、一般的な直線歩行では、ピークが周期的に現れると共に、ピークの高さもあまり変動しない。これに対して、年齢やケガ等で歩行機能が衰えたりすると、加速度のピークが周期的に現れなくなったり、ピークの高さも変動し易くなる。このため、指導者等は、表示画像データを見るだけでなく、測定データから適切でない動作を評価することができる場合がある。
【０２３１】
また、指導者等は、例えば、測定データに乱れがある場所を特定して、表示画像データで確認したりすることができる。なお、表示画像データはある瞬間のフレーム画像しか表示されないが、測定データには一覧性があるため、指導者等は、適切でない動作が表示されるフレーム画像を、測定データに基づいて短時間で探すことができる。
【０２３２】
また、本実施形態では、加速度を例にして説明しているが、ジャイロセンサ２０６により検出した角速度、ＧＰＳ受信装置２１３等が検出した位置、加速度・方位センサ２０５が検出する方位等を用いて、各動作が適切かどうかの評価を行うことも可能である。
【０２３３】
例えば、ジャイロセンサ２０６が検出した角速度により、被験者２００が旋回歩行する際のヨー角、ピッチ角、ロール角の変化の速さが分かる。これにより、指導者等は、被験者２００の旋回歩行動作が適切であるか否かを評価することができる。
【０２３４】
また、位置を２回微分すれば加速度が得られるため、ＧＰＳ受信装置２１３等が検出した位置も加速度と同等の情報として用いることができる。
【０２３５】
また、表示装置３０の表示制御部３２は、加速度と加速度＝０の軸との面積を算出し、表示しても良い。例えば、被験者２００が旋回歩行している場合には、ｙ方向は被験者２００の左右方向の加速度なので、加速度が正側の面積と、負側の面積とは、ラインＬに対する左右のぶれを示す。ラインＬの上を被験者２００が歩行すれば、正側の面積と、負側の面積とはほぼ等しくなる。したがって、正側の面積と負側の面積が大きく異なるような場合、被験者２００の左脚と右脚のバランスが悪いことが分かる。
【０２３６】
このように、指導者等は時間軸が同期された測定データと表示画像データとを見ることで、被験者２００の各動作を評価するための多くの情報を得ることができる。
【０２３７】
＜全天球画像の回転＞
表示画像データには、全天球画像撮像装置６０の周囲３６０°の画像が映っているため、全体を表示すると画像が歪んでしまい、被験者２００の各動作がわかりにくい。このため、表示制御部３２は、被験者２００が写っている範囲だけを画像データ欄５０２に表示することが好ましい。このような処理を全天球画像の回転、トリミング、被験者２００の抽出、又は取り出し等と表現する。全天球画像の回転とは、全天球画像を水平方向に（経度方向に）回転させて、画像データ欄５０２に表示される範囲を決定することをいう。
【０２３８】
図１９は、被験者２００が写っている範囲を画像回転部３４が特定して、画像データ欄５０２に表示する処理の一例を示すフローチャートである。図１９の処理は、例えば、表示装置３０が表示画像データを受信して、当該表示画像データの再生が行われると開始される。
【０２３９】
まず、画像回転部３４は、被験者２００の足の位置を特定する（Ｓ８０１）。なお、足とは、被験者２００が履いている靴等の部分を言うが、靴等を履いていない場合には、踵からつま先までの部分である。画像回転部３４は、腰より下や膝より下を足として特定しても良い。
【０２４０】
ここで、表示画像データが動画の場合、被験者２００が何回か足踏みするような動作を行えば、画像回転部３４は、動体を検出することで被験者２００を検出することができる。また、画像回転部３４は、顔を認識しても被験者２００を検出しても良い。全天球画像撮像装置６０の周囲に被験者２００以外の人が存在する可能性があるが、画像回転部３４は、最も大きな画素範囲を占める移動体を被験者２００として検出すれば良い。この他、画像回転部３４は、例えば、機械学習により足の画像を学習しておき、表示画像データから足を認識しても良い。
【０２４１】
また、被験者２００は椅子Ｏ１の位置から一連の動作を開始するため、被験者２００の初期位置は、表示画像データの水平方向の決まった位置である。したがって、この場合、画像回転部３４は、測定対象の被験者２００を容易に特定できる。
【０２４２】
一方、静止画の場合、画像回転部３４は、顔を認識して被験者２００を検出することができる。また、画像回転部３４は、パターンマッチング等により各静止画の表示画像データから被験者２００を検出しても良いし、例えば指導者等が被験者２００の位置を入力しても良い。
【０２４３】
次に、画像回転部３４は、被験者２００の足の位置の変化から単位時間毎の被験者２００の角速度を算出する（Ｓ８０２）。
【０２４４】
ここで、図２０を用いて角速度について説明する。図２０は、全天球画像の上面図における被験者２００の足５１１の位置の一例を模式的に示す図である。
【０２４５】
図２０では、一例として、北向きが基準であるとする。このとき、被験者２００の足は、経度方向に３６０°の範囲で位置（北向きをゼロ度とする角度）θ１及びθ２を取り得る。そこで、１つのフレーム画像内における被験者２００の２つの足の位置θ１及びθ２の平均を足５１１の位置θとする。
【０２４６】
そして、例えば、過去の数秒間の位置θの変化量の平均を所定の時間毎（例えば、フレームを更新する毎）に算出する。これにより、画像回転部３４は、変動が少ない被験者２００の角速度を算出することができる。なお、角速度は全天球画像撮像装置６０から見た歩行速度（進行速度情報）ということができる。なお、実空間におけるｘ方向の歩行速度は、ｘ方向の加速度を積分して得られる。
【０２４７】
次に、画像回転部３４は、ステップＳ８０２で算出した角速度で、フレーム画像を回転させる（Ｓ８０３）。すなわち、表示画像データに含まれるフレームデータが切り替わると、画像回転部３４は、角速度で被験者２００が移動した位置を中心に画像データ欄５０２の表示範囲（所定の範囲）を回転させることで、フレーム画像をトリミングする。これにより、画像回転部３４によりトリミングされたフレーム画像のほぼ中央に被験者２００が写るようにすることができる。
【０２４８】
表示制御部３２は、画像回転部３４によりトリミングされた表示範囲のフレーム画像を画像データ欄５０２に表示する（ステップＳ８０４）。このため、指導者等は、３６０°の範囲が撮像されている全天球画像から被験者２００を探す必要なく、被験者２００の各動作を評価することができる。
【０２４９】
なお、通常の画角のカメラでは被験者２００が映るように撮像されているので、回転やトリミング等の処理は必要ない。また、画像回転部３４の機能をサーバ１０又は全天球画像撮像装置６０が有していても良い。この場合、サーバ１０や全天球画像撮像装置６０から表示装置３０へ表示画像データや画像データが送信される際の通信負荷や通信時間を低減することができる。
【０２５０】
＜全天球画像の回転の他の例＞
ここで、フレーム画像から顔を認識することで被験者２００を認識し、フレーム画像を回転させる場合について説明する。図２１は、被験者２００が写っている範囲を画像データ欄５０２に表示する処理の他の例の示すフローチャートである。図２１の処理は、例えば、表示装置３０が表示画像データを受信して、当該表示画像データの再生が行われると開始される。
【０２５１】
まず、画像回転部３４は、全天球画像（すなわち、フレーム画像）毎に顔を認識する（ステップＳ９０１）。図２２は、顔５１２の認識を模式的に説明する図の一例である。顔５１２の認識は、適切な特徴量の設定と、学習識別装置の学習により行われる。
【０２５２】
例えば、画像回転部３４は、特徴量として、Ｈａａｒ−ｌｉｋｅ特徴量、ＬＢＰ(Local Binary Patterns)特徴量、ＨＯＧ(Histogram of Oriented Gradients)特徴等を用いることができる。また、画像回転部３４は、学習識別装置の学習方法として、ＳＶＭ(Support Vector Machines)、ＡｄａＢｏｏｓｔ等を用いることができる。ただし、これらに限られるものではなく、画像回転部３４は、顔５１２を認識できる種々の特徴量、学習識別装置の学習方法を用いることができる。
【０２５３】
次に、画像回転部３４は、全天球画像（フレーム画像）から顔５１２を中心に、画像データ欄５０２の表示範囲５１３（所定範囲）の画像をトリミングする（ステップＳ９０２）。これにより、画像回転部３４が取り出す画像には、ほぼ中央に被験者２００が写るようにすることができる。
【０２５４】
表示制御部３２は、画像回転部３４によりトリミングされた表示範囲５１３のフレーム画像を画像データ欄５０２に表示する（ステップＳ９０３）。このため、指導者等は、３６０°の範囲が撮像されている全天球画像から被験者２００を探す必要なく、被験者２００の各動作を評価することができる。
【０２５５】
なお、画像回転部３４は、全天球画像毎に顔５１２の位置を決定してトリミングするのではなく、過去のいくつかの全天球画像の顔５１２の位置から経度方向の移動速度を算出することで、次に表示する全天球画像から表示範囲を決定しても良い。これにより、顔５１２の位置が変動しにくくなるので、滑らかな動画を表示できる。
【０２５６】
以上のように、本実施形態に係る画像表示システム１００では、全天球画像撮像装置６０の周囲で一連の動作を行う被験者２００が撮像されるので、被験者２００の様々な動作を撮像可能になる。そして、本実施形態に係る画像表示システム１００では、撮像された被験者２００が写っている画像と、被験者２００が行うべき動作（タスク）とを、被験者２００の加速度等の測定データと共に表示装置３０に表示する。
【０２５７】
このため、本実施形態に係る画像表示システム１００によれば、指導者等が被験者２００の各動作を評価し易い画像を表示させることができる。
【０２５８】
＜画像表示システム１００の他のシステム構成＞
ここで、本実施形態に係る画像表示システム１００の他のシステム構成について説明する。図２３は、画像表示システム１００のシステム構成の他の例を示す図である。
【０２５９】
図２３（ａ）は、画像表示システム１００のシステム構成の他の例である。図２３（ａ）に示す画像表示システム１００では、サーバ１０がディスプレイ１０８を有している。図２３（ａ）に示す構成では、サーバ１０が表示装置３０の各種機能を有している。すなわち、サーバ１０は、測定データと画像データの時間軸の同期や表示画像データの作成に加えて、フレーム画像の回転等を行って、測定データと表示画像データを表示する。
【０２６０】
図２３（ｂ）は、画像表示システム１００のシステム構成の他の例である。図２３（ｂ）に示す画像表示システム１００では、サーバ１０及び表示装置３０を有しない。図２３（ｂ）に示す構成では、加速度測定装置５０が、サーバ１０と表示装置３０の各種機能を有している。
【０２６１】
ここで、図２３（ｂ）に示す画像表示システム１００における全体的な動作について説明する。図２４は、加速度測定装置５０が測定データと表示画像データを表示する場合における画像表示システム１００の全体的な動作の一例を説明するシーケンス図である。
【０２６２】
まず、被験者２００の一連の動作の測定を始める際、指導者又は被験者２００等は、一連の動作の測定を開始するための操作を加速度測定装置５０に入力する。すると、加速度測定装置５０は、指導者又は被験者２００等の操作を受け付ける（ステップＳ１００１）。
【０２６３】
次に、加速度測定装置５０の通信部５１は、撮像開始要求を全天球画像撮像装置６０に送信する（ステップＳ１００２）。
【０２６４】
次に、加速度測定装置５０の加速度検出部５２は、加速度の測定を開始する（ステップＳ１００３）。また、全天球画像撮像装置６０の撮像部６２は、被験者２００の撮像を開始する（ステップＳ１００４）。
【０２６５】
次に、例えば、被験者２００が一連の動作を終えた場合、指導者又は被験者２００は、一連の動作の測定を終了する操作を加速度測定装置５０に入力する。すると、加速度測定装置５０は、指導者又は被験者２００の操作を受け付ける（ステップＳ１００５）。
【０２６６】
次に、加速度測定装置５０の通信部５１は、撮像終了要求を全天球画像撮像装置６０に送信する（ステップＳ１００６）。
【０２６７】
全天球画像撮像装置６０の撮像部６２は、通信部６１により撮像終了要求を受信すると、撮像を終了する。そして、全天球画像撮像装置６０の通信部６１は、画像データを加速度測定装置５０に送信する（ステップＳ１００７）。
【０２６８】
加速度測定装置５０の加速度データ加工部１３は、図１０のステップＳ１１３と同様に、測定データを加工する（ステップＳ１００８）。
【０２６９】
次に、加速度測定装置５０の画像調整部１２は、図８のステップＳ１１４と同様に、測定データと画像データの時間軸を同期させる（ステップＳ１００９）。
【０２７０】
次に、加速度測定装置５０の表示画像作成部１６は、図８のステップＳ１１５と同様に、タスクを特定して、特定したタスクを画像データと対応付けることで、表示画像データを作成する（ステップＳ１０１０）。
【０２７１】
次に、加速度測定装置５０は、自機のディスプレイ２１４に測定データと表示画像データを表示する（ステップＳ１０１１）。なお、加速度測定装置５０は、指導者等の端末（サーバ１０等）に測定データと表示画像データを送信しても良い（ステップＳ１０１２）。この場合、指導者等の端末は、測定データと表示画像データを表示する（ステップＳ１０１３）。
【０２７２】
したがって、図２３（ｂ）に示す構成によれば、画像表示システム１００のシステム構成を簡易化できる。被験者２００は、加速度測定装置５０を装着した上で一連の動作を行って、当該一連の動作を終えた後に、加速度測定装置５０を指導者等に渡せば指導者から指導を受けることができるようになる。
【０２７３】
［第二の実施形態］
次に、第二の実施形態について説明する。第一の実施形態に係る画像表示システム１００では、画像データに含まれる各フレームデータにタスクを対応付けることで、フレーム画像と共に、被験者２００が行うべき動作（タスク）を表示装置３０に表示していた。しかしながら、被験者２００が実際にタスク通りの動作を行っているか否かは、指導者等が画像を見て判断する必要があった。
【０２７４】
そこで、第二の実施形態に係る画像表示システム１００では、タスクと共に、被験者２００が実際に行っている動作（以降では、「ステータス」と表す。）を書くフレームデータに対応付ける。これにより、指導者等は、表示装置３０に表示されたステータスを確認することで、被験者２００がタスク通りの動作を行っているか否かを容易に確認することができるようになる。
【０２７５】
なお、第二の実施形態において、第一の実施形態と実質的に同一の機能を有する箇所や同一の処理を行う箇所については、適宜、その説明を省略する。
【０２７６】
＜機能構成＞
まず、第二の実施形態に係るサーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０の機能構成について説明する。図２５は、第二の実施形態に係るサーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０の機能ブロックの一例を示す図である。なお、第二の実施形態では、サーバ１０の機能構成が第一の実施形態と異なる。
【０２７７】
≪サーバ１０の機能構成≫
サーバ１０は、表示画像作成部１６Ａを有する。表示画像作成部１６Ａは、タスク設定テーブル１００３と、全天球画像撮像装置６０から受信した画像データとタスクを特定すると共に、例えば、加速度測定装置５０から受信した測定データに基づいてステータスを特定する。そして、表示画像作成部１６Ａは、画像データに含まれる各フレームデータに対して、タスクと、ステータスとを対応付けることで、表示画像データを作成する。
【０２７８】
＜動作手順＞
次に、本実施形態に係る画像表示システム１００の動作手順について説明する。
【０２７９】
≪表示画像の作成処理≫
以降では、図１０等の全体的な動作におけるステップＳ１１５等の処理（タスクの特定及び表示画像の作成処理）について説明する。図２６は、タスクの特定及び表示画像の作成処理の一例を説明するフローチャートである。ここで、第一の実施形態と同様に、以降では、全天球画像撮像装置６０により生成された画像データには、時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）毎に、Ｎ個のフレームデータが含まれているものとする。なお、図２６のステップＳ１１０１〜ステップＳ１１０４及びステップＳ１１０８〜ステップＳ１１０９は、それぞれ、図１６のステップＳ７０１〜ステップＳ７０４及びステップＳ７０６〜ステップＳ７０７と同様であるため、その説明を省略する。
【０２８０】
ステップＳ１１０４に続いて、表示画像作成部１６Ａは、時刻ｔ＝ｔｎのフレームデータと対応付けられている測定値と、その前後の測定値とを測定データから取得する（ステップＳ１１０５）。
【０２８１】
ここで、時刻ｔ＝ｔｎのフレームデータと対応付けられている測定値の前後の測定値とは、例えば、時刻ｔ＝ｔｎ−１のフレームデータと対応付けられている測定値、時刻ｔ＝ｔｎ＋１のフレームデータと対応付けられている測定値等である。ただし、これに限られず、表示画像作成部１６Ａは、時刻ｔ＝ｔｎのフレームデータの前後の所定範囲内のフレームデータと対応付けられている測定値を取得しても良い。すなわち、表示画像作成部１６Ａは、例えば、時刻ｔ＝ｔｎ−３〜ｔｎ−１の各フレームデータとそれぞれ対応付けられている測定値、時刻ｔ＝ｔｎ＋１〜ｔｎ＋３の各フレームデータとそれぞれ対応付けられている測定値等を取得しても良い。
【０２８２】
なお、ｎ＝１の場合は、表示画像作成部１６Ａは、例えば、時刻ｔ＝ｔ２のフレームデータと対応付けられている測定値を取得すれば良い。
【０２８３】
次に、表示画像作成部１６Ａは、ステップＳ１１０５で取得した測定値と、ステップＳ１１０４で特定したタスク（以下、「特定タスク」と表す。）とに基づいて、被験者２００のステータスを特定する（ステップＳ１１０６）。
【０２８４】
ここで、表示画像作成部１６Ａは、例えば、以下のようにして被験者２００のステータスを特定すれば良い。
【０２８５】
（１）特定タスクが「起立又は着席」である場合において、取得した測定値（加速度）が、０からｚ方向の上向きに増加して、所定の閾値以上となった場合、表示画像作成部１６Ａは、被験者２００のステータスを「起立動作中」と特定する。
【０２８６】
（２）特定タスクが「起立又は着席」である場合において、取得した測定値（加速度）が、所定の閾値以上の値からｚ方向の下向きに減少して、０となった場合、表示画像作成部１６Ａは、被験者２００のステータスを「着席動作中」と特定する。
【０２８７】
（３）特定タスクが「直線歩行」である場合において、取得した測定値（加速度）のｘ方向の値が０となった場合、表示画像作成部１６Ａは、被験者２００のステータスを「立ち止まり」と特定する。
【０２８８】
（４）特定タスクが「旋回歩行」である場合において、取得した測定値（加速度）のｙ方向の値が所定の閾値以上である場合、表示画像作成部１６Ａは、被験者２００のステータスを「旋回歩行動作中」と特定する。
【０２８９】
（５）特定タスクが「障害物またぎ歩行」である場合において、取得した測定値（加速度）のｚ方向の値が上向きに増加した後、下向きに減少した場合、表示画像作成部１６Ａは、被験者２００のステータスを「またぎ歩行動作中」と特定する。
【０２９０】
このように、表示画像作成部１６Ａは、特定したタスクと、取得した測定値とに基づいて、被験者２００が実際に行っている動作（ステータス）を特定する。
【０２９１】
次に、表示画像作成部１６Ａは、特定タスクと、ステップＳ１１０６で特定したステータスとをフレームデータに対応付けて、表示フレームデータを作成する（ステップＳ１１０８）。すなわち、本実施形態における表示フレームデータには、タスクと、ステータスとが対応付けられたフレームデータである。
【０２９２】
そして、表示画像作成部１６Ａは、各時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）の表示フレームデータを含む表示画像データを作成する（ステップＳ１１１０）。このように、本実施形態では、タスクとステータスとが対応付けられた表示フレームデータを含む表示画像データを作成することで、各表示フレームデータにおける被験者２００のタスクに加えて、ステータスを表示することができる。
【０２９３】
なお、例えば、表示装置３０においてストリーミング等により表示画像データを再生する場合には、サーバ１０は、上記のステップＳ１１０７の処理が実行された後に、表示フレームデータを表示装置３０に送信すれば良い。
【０２９４】
＜表示画像データと測定データの表示＞
次に、本実施形態における表示画像データと測定データの表示例について説明する。図２７は、表示装置３０に表示された表示画像データと測定データの一例を示す図である。
【０２９５】
図２７に示すデータ表示画面５０１では、ステータス表示欄５０７が含まれる。すなわち、指導者等がボタン５０５を押下すると、操作入力受付部３３が当該押下操作を受け付ける。そして、表示制御部３２は、フレームレート（ｆｐｓ）と同じ再生速度で表示画像データを動画として再生する。
【０２９６】
このとき、本実施形態では、表示制御部３２は、表示フレームデータに対応付けられているタスクをタスク表示欄５０４に表示すると共に、表示フレームデータに対応付けられているステータスをステータス表示欄５０７に表示する。これにより、指導者等は、現在再生されている動画において、被験者２００が行うべき動作（タスク）を知ることができると共に、被験者２００が実際に行っている動作（ステータス）を知ることができる。
【０２９７】
したがって、指導者等は、動画から被験者２００が実際に行っている動作を確認することなく、ステータスを確認することで、被験者２００が実際に行っている動作を容易に知ることができる。
【０２９８】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２９９】
例えば、本実施形態では、測定データの測定終了後及び画像データの撮像終了後に、測定データ及び表示画像データが表示されているが、リアルタイムに測定データ及び表示画像データが表示されても良い。この場合、表示される測定データ及び表示画像データはほぼ同時期に撮像されたものである。
【０３００】
また、以上の実施例で示した図６等の構成例は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０の処理の理解を容易にするために、主な機能に応じて分割したものである。例えば、サーバ１０が複数台存在し、複数のサーバ１０が協働して本実施形態の処理を行っても良い。また、サーバ１０の記憶部１０００はサーバ１０が有している必要はなく、記憶部１０００は、サーバ１０が当該記憶部１０００のデータを読み書き可能な場所にあれば良い。
【０３０１】
また、図６では、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。サーバ１０、表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。
【符号の説明】
【０３０２】
１０        サーバ
１２        画像調整部
１６        表示画像作成部
３０        表示装置
３２        表示制御部
３３        操作入力受付部
３４        画像回転部
５０        加速度測定装置
６０        全天球画像撮像装置
１００      画像表示システム
【先行技術文献】
【特許文献】
【０３０３】
【特許文献１】特開２０１０‐１７２３９４号公報
【図１】
2017202020.tif 000003
【図２】
2017202020.tif 000004
【図３】
2017202020.tif 000005
【図４】
2017202020.tif 000006
【図５】
2017202020.tif 000007
【図６】
2017202020.tif 000008
【図７】
2017202020.tif 000009
【図８】
2017202020.tif 000010
【図９】
2017202020.tif 000011
【図１０】
2017202020.tif 000012
【図１１】
2017202020.tif 000013
【図１２】
2017202020.tif 000014
【図１３】
2017202020.tif 000015
【図１４】
2017202020.tif 000016
【図１５】
2017202020.tif 000017
【図１６】
2017202020.tif 000018
【図１７】
2017202020.tif 000019
【図１８】
2017202020.tif 000020
【図１９】
2017202020.tif 000021
【図２０】
2017202020.tif 000022
【図２１】
2017202020.tif 000023
【図２２】
2017202020.tif 000024
【図２３】
2017202020.tif 000025
【図２４】
2017202020.tif 000026
【図２５】
2017202020.tif 000027
【図２６】
2017202020.tif 000028
【図２７】
2017202020.tif 000029