(57)【要約】【課題】移動する対象の進行動作を評価しやすい画像表示システムを提供すること。【解決手段】情報処理装置１０、水平方向の周囲を撮像できる広角撮像装置６０、及び、進行する対象の進行動作を評価できる情報を測定する測定装置５０を有する画像表示システム１００であって、前記広角撮像装置が撮像した画像データと前記測定装置が測定した測定データを取得する取得手段１１と、前記画像データと前記測定データを対応づける対応付け手段１２と、対応付けられた前記画像データと前記測定データを表示装置３０に表示させる表示手段１０８と、を有する。【選択図】図１
2017151281.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置、水平方向の周囲を撮像できる広角撮像装置、及び、進行する対象の進行動作を評価できる情報を測定する測定装置を有する画像表示システムであって、
前記広角撮像装置が撮像した画像データと前記測定装置が測定した測定データを取得する取得手段と、
前記画像データと前記測定データを対応づける対応付け手段と、
対応付けられた前記画像データと前記測定データを表示装置に表示させる表示手段と、を有する画像表示システム。
【請求項２】
前記広角撮像装置は、方向を変えながら又は方向を変えて前記広角撮像装置の周囲を進行する前記対象を撮像し、
前記対応付け手段は、方向を変えながら又は方向を変えて進行する前記対象が撮像された前記画像データと前記測定データを対応づける請求項１に記載の画像表示システム。
【請求項３】
前記情報処理装置は、前記測定装置に測定開始を、前記広角撮像装置に撮像開始をそれぞれ要求し、前記測定装置に測定終了を、前記広角撮像装置に撮像終了をそれぞれ要求する指示手段を有し、
前記対応付け手段は、前記画像データの撮像開始と前記測定データの測定開始がほぼ同じであり、前記画像データの撮像終了と前記測定データの測定終了がほぼ同じ前記画像データと前記測定データを対応づける請求項１又は２に記載の画像表示システム。
【請求項４】
前記表示装置は、前記測定データの測定の開始又は前記画像データの撮像の開始の少なくとも一方を受け付ける受付手段を有し、
前記受付手段が受け付けた前記測定データの測定の開始又は前記画像データの撮像の開始の少なくとも一方を前記情報処理装置に通知する請求項３に記載の画像表示システム。
【請求項５】
前記測定装置は、閾値以上の大きさの前記測定データを検出した場合に前記測定データの測定を開始し、閾値以上の大きさの前記測定データを検出した旨を前記広角撮像装置に通知し、前記広角撮像装置は閾値以上の大きさの前記測定データを検出した旨を通知された場合に前記画像データの撮像を開始し、
前記測定装置は、前記測定データの大きさが閾値未満になった場合に前記測定データの測定を終了し、前記測定データの大きさが閾値未満になった旨を前記広角撮像装置に通知し、前記広角撮像装置は前記測定データの大きさが閾値未満になった旨を通知された場合に前記画像データの撮像を終了し、
前記対応付け手段は、前記画像データの撮像開始と前記測定データの測定開始がほぼ同じであり、前記画像データの撮像終了と前記測定データの測定終了がほぼ同じ前記画像データと前記測定データを対応づける請求項１又は２に記載の画像表示システム。
【請求項６】
前記測定装置は前記測定データの測定開始時刻及び測定終了時刻を取得し、
前記広角撮像装置は前記画像データの撮像開始時刻及び撮像終了時刻を取得し、
前記取得手段は、前記測定データを前記測定開始時刻及び前記測定終了時刻と共に取得し、前記画像データを前記撮像開始時刻及び前記撮像終了時刻と共に取得する請求項１又は２に記載の画像表示システム。
【請求項７】
前記画像データの前記対象を検出することで、前記対象が前記広角撮像装置の周囲を進行する際の進行速度情報を算出し、前記進行速度情報で決定される所定範囲の画像を前記画像データから抽出する抽出手段を有し、
前記表示手段は、前記抽出手段が抽出した前記所定範囲の画像を前記表示装置に表示させる請求項１〜６のいずれか１項に記載の画像表示システム。
【請求項８】
前記画像データの前記対象を検出し、前記画像データから前記対象が含まれる所定範囲の画像を抽出する抽出手段を有し、
前記表示手段は、前記抽出手段が抽出した前記所定範囲の画像を前記表示装置に表示させる請求項１〜６のいずれか１項に記載の画像表示システム。
【請求項９】
前記広角撮像装置は前記画像データの撮像を開始することを報知するか、又は、前記測定装置は前記測定データの測定を開始することを報知する請求項１〜７のいずれか１項に記載の画像表示システム。
【請求項１０】
水平方向の周囲を撮像できる広角撮像装置、及び、進行する対象の進行動作を評価できる情報を測定する測定装置、と通信できる情報処理装置であって、
前記広角撮像装置が撮像した画像データと前記測定装置が測定した測定データを取得する取得手段と、
前記画像データと前記測定データを対応づける対応付け手段と、
対応付けられた前記画像データと前記測定データを表示装置に表示させる表示手段と、を有する情報処理装置。
【請求項１１】
水平方向の周囲を撮像できる広角撮像装置と通信できる情報処理装置であって、
進行する対象の進行動作を評価できる情報を測定する測定手段と、
前記広角撮像装置が撮像した画像データを取得する取得手段と、
前記画像データと前記測定手段が測定した測定データとを対応づける対応付け手段と、
対応付けられた前記画像データと前記測定データを表示装置に表示させる表示手段と、  を有する情報処理装置。
【請求項１２】
水平方向の周囲を撮像できる広角撮像装置、及び、進行する対象の進行動作を評価できる情報を測定する測定装置、と通信できる情報処理装置を、
前記広角撮像装置が撮像した画像データと前記測定装置が測定した測定データを取得する取得手段と、
前記画像データと前記測定データを対応づける対応付け手段と、
対応付けられた前記画像データと前記測定データを表示装置に表示させる表示手段、として機能させるためのプログラム。
【請求項１３】
水平方向の周囲を撮像できる広角撮像装置と通信できる情報処理装置を、
進行する対象の進行動作を評価できる情報を測定する測定手段と、
前記広角撮像装置が撮像した画像データを取得する取得手段と、
前記画像データと前記測定手段が測定した測定データとを対応づける対応付け手段と、
対応付けられた前記画像データと前記測定データを表示装置に表示させる表示手段、  として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
人などが歩行することは健康促進に役立つことが知られている。また、歩行の際には正しい姿勢で歩行することが健康上好ましく、また、転倒しにくいとされている。歩行時の姿勢を本人が評価することは困難なので、歩行に関する指導者等が歩行動作を客観的に解析したり、解析結果を歩行者に指導する試みが行われる場合がある。
【０００３】
人などの姿勢や動作を測定するシステムとしてはモーションキャプチャシステムが知られている。モーションキャプチャシステムでは、マーカなどが体の関節位置などに装着された人などをカメラが撮像して、トラッカーによりマーカの動きを追跡することで、コンピュータが人などの歩行動作を解析することができる。
【０００４】
しかしながら、モーションキャプチャシステムは、様々な角度から人などの動きを捉えるためにマーカが多数必要であり、歩行動作の撮像までの準備や撮像後の解析に時間やコストがかかる傾向がある。また、実験室のような特別な環境でしか歩行動作を測定できないという不都合があった。
【０００５】
このような不都合に対して、身体の所定の部位に複数のマークが装着された歩行者の撮像画像を用い比較的簡単な構成で歩行動作を解析できる技術が考案されている（例えば、特許文献１参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、撮像可能な歩行動作が限られてしまうという問題がある。これは、歩行することで人などは徐々に移動するのに対しカメラの位置や向きは固定されているためである。カメラが固定されていると、例えば、直線的に歩行する歩行者の歩行動作しか撮像できず、直線的な歩行以外の歩行者の歩行動作を撮像することが困難である。
【０００７】
人の歩行に合わせてカメラの向きや位置を変更するシステムがあれば撮像可能な歩行動作を広げることができるが、そのためのコストやスペースを考慮すると広く一般に使用されるシステムとして実現することは容易でない。
【０００８】
また、特許文献１ではマークの座標に基づき歩行動作を表すためのパラメータ値を算出しているが、パラメータ値で歩行動作を評価できたとしても、評価の根拠を裏付けることが困難であるという問題がある。
【０００９】
本発明は、上記課題に鑑み、移動する対象の進行動作を評価しやすい画像表示システムを提供することを目的する。
【課題を解決するための手段】
【００１０】
本発明は、上記課題に鑑み、情報処理装置、水平方向の周囲を撮像できる広角撮像装置、及び、進行する対象の進行動作を評価できる情報を測定する測定装置を有する画像表示システムであって、前記広角撮像装置が撮像した画像データと前記測定装置が測定した測定データを取得する取得手段と、前記画像データと前記測定データを対応づける対応付け手段と、対応付けられた前記画像データと前記測定データを表示装置に表示させる表示手段と、を有する。
【発明の効果】
【００１１】
移動する対象の進行動作を評価しやすい画像表示システムを提供できる。
【図面の簡単な説明】
【００１２】
【図１】画像表示システムの概略的な動作を説明する図の一例である。
【図２】画像表示システムの概略構成図の一例である。
【図３】サーバのハードウェア構成図の一例である。
【図４】加速度測定装置のハードウェア構成図の一例である。
【図５】全天球画像撮像装置のハードウェア構成図の一例である。
【図６】サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である。
【図７】全天球画像撮像装置の周囲を歩行者がどのように歩行するかを説明する図の一例である。
【図８】画像表示システムの全体的な動作を説明するシーケンス図の一例である。
【図９】画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。
【図１０】画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。
【図１１】画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。
【図１２】画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。
【図１３】表示装置がディスプレイに表示した画像データと測定データの一例を示す図である。
【図１４】歩行者が写っている範囲を画像回転部が特定して画像データ欄に表示する手順を示すフローチャート図の一例である。
【図１５】全天球画像の上面図における歩行者の足の位置を模式的に示す図である。
【図１６】歩行者が写っている範囲を画像回転部が特定して画像データ欄に表示する手順を示すフローチャート図の一例である。
【図１７】顔の認識を模式的に説明する図の一例である。
【図１８】画像表示システムの概略構成図の別の一例を示す。
【図１９】図１８（ｂ）のような構成において、加速度測定装置が測定データと画像データを表示するシーケンス図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【００１４】
＜画像処理システムの概略＞
図１は、本実施形態における画像表示システム１００の概略的な動作を説明する図の一例である。全天球画像撮像装置６０が設置されており、その周囲を歩行する歩行者を全天球画像撮像装置６０が撮像する。歩行者２００は加速度測定装置５０を身体に装着しており、加速度測定装置５０は撮像中の歩行者２００に生じる加速度を測定している。
【００１５】
（１）全天球画像撮像装置６０は画像データをサーバ１０に送信し、加速度測定装置５０は加速度の測定データをサーバ１０に送信する。
【００１６】
（２）画像データの撮像開始時刻と測定データの測定開始時刻は同期しており、画像データの撮像終了時刻と測定データの測定終了時刻は同期している。このため、サーバ１０は画像データと測定データの時間軸を同期させることができる。
【００１７】
（３）サーバ１０は、時間軸を同期させた画像データと測定データを表示装置３０に送信する。これにより表示装置３０は画像データと測定データを同じ時間軸で表示することができる。
【００１８】
このような構成によれば、まず、全天球画像撮像装置６０が用いられ、その周囲を歩行する歩行者２００が撮像されるので、直線的に移動する歩行者２００だけでなく旋回したり右左折したり歩行者２００を撮像可能になる。歩行者２００は旋回したり右左折する際に重心を崩しやすいことが知られており、旋回したり右左折する歩行者２００を撮像できることが歩行動作の解析に有効になる。また、全天球画像撮像装置６０はカメラを移動させたりすることなく歩行者２００の側面を常に撮像できるので歩行者２００の身体の前後方向の揺れ方などを撮像できる。歩き方の指導者等は、歩行者２００の歩行動作を映像で確認して歩行動作を評価し改善点を指導できる。
【００１９】
また、歩行者２００の加速度などが測定された測定データが画像データと同じ時間軸で表示されるので、指導者等が改善すべき歩行動作を発見した場合に、歩行動作が良好でないことを測定データで裏付けることができる。また逆に、予め用意されている良好とされる測定データと歩行者（被験者）の測定データを比較することで、指導者等は好ましくない測定データを発見できる。好ましくない測定データは画像データと対応付けられているので、指導者等は改善すべき歩行動作を画像データから特定することができる。従って、測定データと画像データを相補的に利用して歩行動作を評価できる。
【００２０】
＜用語について＞
進行する対象とは、前方、後方、横方向などに進行する対象をいう。あるいは、重心移動を伴って進行する対象である。具体的には、人、動物又はロボット等が挙げられるが、以下では説明のため人（歩行者）を例にして説明する。歩行には走ることが含まれる。また、後ろ向きに歩行してもよい。また、人などが乗車した車椅子、義足を装着した人、自転車、竹馬、三輪車などが撮像されてもよい。
【００２１】
進行する対象の進行動作を評価できる情報は、進行する対象の進行に伴って変動する情報をいう。あるいは、進行する対象に装着された場合に進行に伴って変動する情報でもよい。あるいは、進行動作を良否などを評価可能な情報といってもよい。具体的には、加速度、角速度、位置又は方位等である。
【００２２】
画像データと測定データが対応づけられるとは、いくつかある画像データのうち１つ以上の画像データが決まると、いくつかある測定データのうち１つ以上の測定データが決まることをいう。あるいは、ほぼ同じ時刻に測定された画像データと測定データが特定され、時刻、画像データ又は測定データの１つが決まると残りが決まることをいう。
【００２３】
指導者とは、歩行者の歩行動作を映像で確認して歩行動作を評価し改善点等を立案できる者をいう。具体的には保健師、臨床検査技師、義肢装具士などの資格の保有者が挙げられるが、資格はなくてもよい。また、歩行動作を評価し改善点等を立案できる者でなくても画像表示システム１００の操作は可能であり、指導者は操作者、ユーザ、又は利用者等と呼ばれてもよい。
【００２４】
＜システム構成例＞
図２は、本実施形態の画像表示システム１００の概略構成図の一例を示す。画像表示システム１００は、ネットワークＮを介して相互に通信可能なサーバ１０、加速度測定装置５０、全天球画像撮像装置６０、及び、表示装置３０を有する。
【００２５】
ネットワークＮは、画像表示システム１００が配置されている施設などに構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、表示装置３０が直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。
【００２６】
全天球画像撮像装置６０は全天球画像又は全方位画像（以下、単に全天球画像又は全方位画像という）と呼ばれる周囲３６０度の風景を撮像する撮像装置（カメラ）である。後述する光学系を備えることで全天球画像撮像装置６０は一回の撮像動作で全天球画像を得ることができる。全天球画像にはほぼ死角なく周囲３６０度の画像が撮像されているため、指導者等は任意の領域を選択的にディスプレイ等に表示させ閲覧することができる。なお、本実施形態では、緯度方向（画像の上下方向）で３６０°度の撮像範囲を有していなくてもよい。天井部や床の領域は歩行者が映らないためである。また、経度方向（画像の水平方向）で３６０°度の全範囲で撮像できなくてもよい。これは、歩行者の歩行動作を指導者等が解析するために全天球画像撮像装置６０の全周の旋回までは必要でない場合があるためである。また、全天球画像撮像装置６０として、ある画角の矩形範囲を撮像する撮像装置が撮像した複数の画像をつなぎ合わせることで全天球画像を得る撮像装置が用いられてもよい。
【００２７】
加速度測定装置５０は、歩行者の加速度を測定する装置である。加速度は鉛直方向加速度、進行方向加速度、左右方向加速度の３軸それぞれで測定されることが好適であるが、いずれか一方向の加速度でもよい。加速度測定装置５０として加速度を測定する専用のセンサも存在するが、加速度測定装置５０は加速度センサを有している装置であればよい。具体的には、スマートフォン、携帯電話、タブレット端末、ノートＰＣ、ウェアラブルＰＣ（ヘッドマウントディスプレイ、サングラスや腕時計などとして装着される）、歩度計などであるが、これらには限られない。
【００２８】
また、加速度測定装置５０は、加速度の他、角速度、位置、方位などを測定する機能を有してよい。角速度を測定するセンサはジャイロセンサと呼ばれ、位置はＧＰＳ衛星、ＩＭＥＳ、又は、ビーコンなどにより加速度測定装置５０に提供される。東西南北の方位を例えば北を基準に検出するセンサは方位センサと呼ばれる。これらはいずれも加速度と同様に歩行動作の評価に用いられることができる。本実施形態では、説明を簡便にするため加速度測定装置５０が加速度を測定するものとして説明するが、加速度測定装置５０はこれら歩行動作の評価に用いられる測定データをサーバ１０に送信できる。  
サーバ１０は、全天球画像撮像装置６０からの画像データを受信して加工したり、測定データを受信して画像データと時間軸を同期させたりする情報処理装置である。このサーバ１０の機能を加速度測定装置５０や表示装置３０が兼用することができる。
【００２９】
表示装置３０は、指導者等が画像データと測定データを表示させる端末装置として使用される情報処理装置である。具体的には、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット装置、携帯電話機、カーナビゲーション端末、ウェアラブルコンピュータ（ヘッドマウントディスプレイ、サングラス、腕時計など）、カメラ、電子黒板、プロジェクタ、ゲーム機、又は、ＭＦＰ（Multifunction Peripheral/Printer/Product）などが挙げられる。
【００３０】
＜ハードウェア構成例＞
図３は、サーバ１０のハードウェア構成図の一例である。なお、図示するサーバ１０のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、サーバ１０が備えていることが好ましいハード的な要素を示す。サーバ１０の構成は負荷などに応じて適宜リソースが配分されるクラウドコンピューティングにより決定されてもよい。
【００３１】
サーバ１０は、バス１１０に接続されたＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５、メディアドライブ１０７、ディスプレイ１０８、ネットワークＩ／Ｆ１０９、キーボード１１１、マウス１１２、及び、光学ドライブ１１４を有する。ＣＰＵ１０１は、ＨＤ１０４に記憶されている画像処理プログラムを実行して、サーバ１０の全体の動作を制御する。ＲＯＭ１０２はＩＰＬ（Initial Program Reader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶している。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される主記憶装置である。ＨＤ１０４は不揮発性メモリを搭載した記憶装置である。
【００３２】
ＨＤＤ(Hard Disk Drive)１０５はＣＰＵ１０１の制御に従ってＨＤ１０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ（表示装置３０）１０８はカーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ１０９はネットワークＮとのインタフェースである。
【００３３】
キーボード１１１及びマウス１１２は入出力装置であり、キーボード１１１は文字、数値、各種指示などの入力のための複数のキーを備えこれらからの入力を受け付ける。マウス１１２はマウスポインターの移動及び各種指示の選択や実行、処理対象の選択などを受け付ける。
【００３４】
メディアドライブ１０７はフラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御する。光学ドライブ１１４は着脱可能な記録媒体の一例としてのＣＤ(Compact Disc)１１３等に対する各種データの読み出し又は書き込みを制御する。
【００３５】
なお、上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６やＣＤ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、画像処理プログラムは、任意のサーバ１０型の情報処理装置からダウンロードされる形態で配布されてもよい。
【００３６】
なお、表示装置３０のハードウェア構成は図３と同様であるか、又は、異なっているとしても本実施形態の説明の上で支障はないものとする。
【００３７】
図４は、加速度測定装置５０のハードウェア構成図の一例を示す。なお、図４は加速度測定装置５０としてスマートフォンやタブレット装置が想定された構成になっているが、加速度測定装置５０のハードウェア構成としてはこれに限られない。
【００３８】
加速度測定装置５０は、互いにバス２１０に接続された、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、フラッシュメモリ２０４、ＣＭＯＳセンサ２０５、加速度・方位センサ２０６、ジャイロセンサ２０７、メディアドライブ２０８、音声入力部２１１、音声出力部２１２、通信装置２１３、ＧＰＳ受信部、ディスプレイ２１５、及び、タッチパネル２１６を有する。バス２１０は、これら各部を電気的に接続するためのアドレスバスやデータバス等である。
【００３９】
ＣＰＵ２０１はフラッシュメモリ２０４に記憶されているプログラムを実行することで表示装置３０全体の動作を制御する。ＲＯＭ２０２はＩＰＬや基本入出力プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際にワークエリアとして使用される主記憶装置である。フラッシュメモリ２０４は表示装置３０が実行するプログラムや各種のデータを記憶する不揮発性の記憶装置である。プログラムは、例えば、オペレーティングシステム、全天球画像撮像装置６０が実行する装置プログラムである。
【００４０】
ＣＭＯＳセンサ２０５は、ＣＰＵ２０１の制御に従って被写体を撮像し画像データを得る撮像素子である。ＣＭＯＳセンサ２０５の代わりにＣＣＤセンサを用いてもよい。加速度・方位センサ２０６は、地磁気を検知する電子磁気コンパスとしての機能や３軸方向の加速度を測定する機能等を備えている。ジャイロセンサ２０７は、ｘ軸、ｙ軸又はz軸に対し加速度測定装置５０が回転する際の角速度を検出する。それぞれの軸の回転角度はヨー角、ピッチ角、ロール角と呼ばれる。
【００４１】
メディアドライブ２０８は、フラッシュメモリ等の記録メディア２０９に対するデータの読み出し又は書き込み（記憶）を制御する。メディアドライブ２０８の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア２０９が着脱自在な構成となっている。
【００４２】
音声入力部２１１は音声を音声信号に変換するマイクである。音声出力部２１２は、音声信号を音声に変換するスピーカである。通信装置２１３は、アンテナ２１３ａを利用して無線通信信号により、最寄りの無線局装置９と通信を行う。あるいは、通信装置２１３はＬＡＮに接続するＬＡＮカードの場合がある。ＧＰＳ受信部２１４は、ＧＰＳ衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって表示装置３０の位置情報（緯度、経度、及び高度）を検出する。
【００４３】
ディスプレイ２１５はＣＰＵ２０１の制御により全天球画像を表示したり、ユーザが表示装置３０を操作するための各種のメニュー、アイコンなどを表示する。タッチパネル２１６は、ディスプレイ２１５上に一体に重畳され指やタッチペン等によるタッチに対しディスプレイ２１５上におけるタッチ位置（座標）を検出する。
【００４４】
なお、装置プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０９等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、装置プログラムは、任意のサーバ１０型の情報処理装置からダウンロードされる形態で配布されてもよい。
【００４５】
図５は、全天球画像撮像装置６０のハードウェア構成図の一例である。以下では、全天球画像撮像装置６０は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球画像撮像装置６０と同じ機能を有するようにしてもよい。
【００４６】
図５に示されているように、全天球画像撮像装置６０は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、音声出力部３１９、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び、アンテナ３１７ａを有している。
【００４７】
このうち、撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）３０２ａ，３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ，３０３ｂを備えている。撮像素子３０３ａ，３０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００４８】
撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、各々、画像処理ユニット３０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、撮像制御ユニット３０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。さらに、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び電子コンパス３１８なども接続される。
【００４９】
画像処理ユニット３０４は、撮像素子３０３ａ，３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図法の画像のデータを作成する。
【００５０】
撮像制御ユニット３０５は、一般に撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ，３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ３１１から受け取る。また、該撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。
【００５１】
また、撮像制御ユニット３０５は、操作部３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ，３０３ｂに画像データの出力を指示する。全天球画像撮像装置６０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ，３０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００５２】
また、撮像制御ユニット３０５は、後述するように、ＣＰＵ３１１と協働して撮像素子３０３ａ，３０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球画像撮像装置６０には表示部が設けられていないが、表示部を設けてもよい。
【００５３】
マイク３０８は、音を音（信号）データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。音声出力部３１９は、音声信号を音声に変換するスピーカである。
【００５４】
ＣＰＵ３１１は、全天球画像撮像装置６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒図法により作成された画像のデータを記憶する。
【００５５】
操作部３１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【００５６】
ネットワークＩ／Ｆ３１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ３１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ３１４に記憶された正距円筒図法により作成された画像のデータは、このネットワークＩ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ３１６を介して外部装置に送信されたりする。
【００５７】
通信装置３１７は、全天球画像撮像装置６０に設けられたアンテナ３１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって外部装置と通信を行う。この通信装置３１７によっても、正距円筒図法により作成された画像のデータを外部装置に送信することができる。
【００５８】
電子コンパス３１８は、地球の磁気から全天球画像撮像装置６０の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【００５９】
＜機能構成＞
次に、図６を用いて、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能構成について説明する。図６は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能ブロック図の一例である。
【００６０】
<<サーバの各機能構成>>
サーバ１０は、通信部１１、画像調整部１２、加速度データ加工部１３、操作入力受付部１４、同期指示部１５、及び、記憶・読出部１９を有している。サーバ１０が有するこれらの各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された画像処理プログラム１０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能される手段である。
【００６１】
また、サーバ１０は、図３に示されているＨＤ１０４、ＲＯＭ１０２及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部１０００を有している。記憶部１０００には、画像処理プログラム１０１０、測定データＤＢ１００１、及び、画像データＤＢ１００２が記憶されている。測定データＤＢ１００１は、加速度測定装置５０から送信された測定データが記憶される記憶手段である。画像データＤＢ１００２は、全天球画像撮像装置６０から送信された画像データが記憶される記憶手段である。
【００６２】
サーバ１０の通信部１１は、図３に示されているＣＰＵ１０１からの命令、及びネットワークＩ／Ｆ１０９等によって実現され、ネットワークＮを介して、加速度測定装置５０、全天球画像撮像装置６０、及び、表示装置３０と各種データの送受信を行う。なお、以下ではサーバ１０が通信部１１の機能で通信する場合でも「通信部１１を介して通信する」という記載を省略する場合がある。表示装置３０，全天球画像撮像装置６０及び加速度測定装置５０についても同様である。
【００６３】
画像調整部１２は、図３に示されているＣＰＵ１０１からの命令等により実現され、全天球画像撮像装置６０から取得した画像データと加速度測定装置５０から取得した測定データの時間軸を同期させる。
【００６４】
加速度データ加工部１３は、図３に示されているＣＰＵ１０１からの命令等により実現され、離散的な測定データを滑らかに結合したりして時間軸に対するグラフに変換する。
【００６５】
操作入力受付部１４は、図３に示されているＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。
【００６６】
同期指示部１５は、図３に示されているＣＰＵ１０１からの命令等により実現され、測定データと画像データの同期に関する処理を行う。具体的には同時期に測定開始と撮像開始を全天球画像撮像装置６０と加速度測定装置５０に要求したり、同時期に測定終了と撮像終了を全天球画像撮像装置６０と加速度測定装置５０に要求したりする。また、絶対時刻を全天球画像撮像装置６０と加速度測定装置５０に提供したりする。
【００６７】
記憶・読出部１９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする処理を行う。なお、以下ではサーバ１０が記憶部１０００にアクセスする場合でも「記憶・読出部１９を介して読み書きする」という記載を省略する場合がある。表示装置３０，全天球画像撮像装置６０及び加速度測定装置５０についても同様である。
【００６８】
<<表示装置３０の各機能構成>>
表示装置３０は、通信部３１、表示制御部３２、操作入力受付部３３、画像回転部３４、及び、記憶・読出部３９を有している。
【００６９】
表示装置３０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された端末プログラム３０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能される手段である。なお、端末プログラム３０１０に限られずサーバ１０が送信するＷｅｂページ（ＨＴＭＬデータ、ＸＭＬデータ、及び、JavaScript（登録商標）などで記述されたプログラム）によって実現される機能、又は機能される手段も含まれる。
【００７０】
また、表示装置３０は、図３に示されているＨＤ１０４、ＲＯＭ１０２及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部３０００を有している。記憶部３０００には、端末プログラム３０１０が記憶されている。また、記憶部３０００にはサーバ１０から送信された測定データと画像データが記憶される。
（表示装置３０の機能）
表示装置３０の通信部３１は、図３に示されているＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ１０９等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００７１】
表示制御部３２は、図３に示されているＣＰＵ１０１からの命令等によって実現され、サーバ１０から送信された画像データと測定データをディスプレイ１０８に表示する。
【００７２】
操作入力受付部３３は、図３に示されているＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。
【００７３】
画像回転部３４は、図３に示されているＣＰＵ１０１からの命令等によって実現され、歩行者が写っている領域がディスプレイ１０８に表示されるように全天球画像である画像データを水平方向に回転させる（又はトリミングする）。
【００７４】
記憶・読出部３９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出したりする処理を行う。
【００７５】
<<加速度測定装置５０の各機能構成>>
加速度測定装置５０は、通信部５１、加速度検出部５２、及び、記憶・読出部５９を有している。加速度測定装置５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、フラッシュメモリ２０４からＲＡＭ２０３上に展開された装置プログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能、又は機能される手段である。
【００７６】
また、加速度測定装置５０は、図４に示されているフラッシュメモリ２０４、ＲＯＭ２０２及びＲＡＭ２０３のいずれか１つ以上によって構築される記憶部５０００を有している。記憶部５０００には、装置プログラム５０１０が記憶されている。記憶部５０００には加速度測定装置５０が測定した加速度などの測定データが記憶される。
（加速度測定装置５０の機能）
加速度測定装置５０の通信部５１は、図４に示されているＣＰＵ２０１からの命令、及び通信装置２１３等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００７７】
加速度検出部５２は、図４に示されているＣＰＵ２０１からの命令、及び加速度・方位センサ２０６等によって実現され、加速度測定装置５０に生じる加速度を測定する。加速度は一定間隔又は不定期に測定され、時間と共に変化する加速度が得られる。時系列の加速度が含まれる測定データは記憶部５０００に記憶される。
【００７８】
記憶・読出部５９は、図４に示されているＣＰＵ２０１からの命令、フラッシュメモリ２０４、ＲＯＭ２０２、及びＲＡＭ２０３等により実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりする処理を行う。
【００７９】
<<全天球画像撮像装置６０の各機能構成>>
全天球画像撮像装置６０は、通信部６１、撮像部６２、及び、記憶・読出部６９を有している。全天球画像撮像装置６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ３１２からＳＲＡＭ３１３又はＤＲＡＭ３１４に展開された撮像プログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能、又は機能される手段である。
【００８０】
また、全天球画像撮像装置６０は、図５に示されているＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって構築される記憶部６０００を有している。記憶部６０００には、全天球画像の画像データや撮像プログラム６０１０が記憶されている。
【００８１】
（全天球画像撮像装置６０の機能）
全天球画像撮像装置６０の通信部６１は、図５に示されているＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ３１６等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００８２】
撮像部６２は、図５に示されているＣＰＵ１０１からの命令、撮像ユニット３０１及び画像処理ユニット３０４等によって実現され、全天球画像を撮像し画像データを生成する。全天球画像は静止画でも動画でもよい。いずれの場合も、撮像部６２は歩行している歩行者を時間の経過に従って撮像する。動画の場合、全天球画像は一定間隔又は不定期に撮像される。静止画の場合は、歩行者が歩行している間に時間の間隔を置いて複数の全天球画像が撮像される。時系列の全天球画像が含まれる画像データは記憶部６０００に記憶される。
【００８３】
記憶・読出部６９は、図５に示されているＣＰＵ２０１からの命令、ＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって実現され、記憶部６０００に各種データを記憶したり、記憶部６０００に記憶された各種データを読み出したりする処理を行う。
【００８４】
＜歩行者の歩行について＞
図７（ａ）を用いて、全天球画像撮像装置６０の周囲を歩行者がどのように歩行するかを説明する。図７（ａ）は、全天球画像撮像装置６０の周囲を歩行する歩行者２００を模式的に説明する図の一例である。歩行者２００は加速度測定装置５０を腰などに装着している。加速度測定装置５０が装着される場所は歩行者２００の重心に近い場所であることが好ましい。腰の他、胸、背中、胴部などに装着されてもよい。また、加速度測定装置５０は複数台、装着されていてもよい。
【００８５】
歩行者２００は全天球画像撮像装置６０の周囲を旋回するようにして歩行する。複数の歩行者間の歩行動作の比較を容易にするため、又は、歩行者２００が歩行する経路を認識できるように、歩行面に円形状のラインＬが形成されていてもよい。また、ラインＬには等間隔に連続する番号などが付されたマーカが配置されていてもよい。指導者等が画像データを確認する際に、全天球画像撮像装置６０に対する歩行者２００の位置を容易に把握できる。
【００８６】
歩行者２００はラインＬで示される円の接線方向に正面（胸）を向けて前方に移動する。これにより、全天球画像撮像装置６０の周囲を旋回するように歩行する。歩行者２００が歩行している間、加速度測定装置５０は加速度を測定している。歩行者２００と加速度測定装置５０の相対位置は固定されているものとし、歩行者２００の進行方向（前方）をｘ方向、左右方向をｙ方向、垂直方向をｚ方向とする。
【００８７】
なお、歩行者２００は円形状のラインＬの全体を歩行しなければならないわけではなく歩行動作の評価に適切な距離以上、歩行すればよい。また、歩行者２００は円形状のラインＬを１周より多く歩行してもよい。
【００８８】
図７（ｂ）は、四角形に沿って全天球画像撮像装置６０の周囲を歩行する歩行者２００を模式的に説明する図の一例である。図７（ｂ）では例えば四角形の形状のラインＬが歩行面に形成されている。歩行者２００がラインＬに沿って（又はライン上を）歩行すると、歩行者２００は右折するため、全天球画像撮像装置６０は右折する際の歩行者２００を撮像できる。また、歩行者２００が逆方向に歩行すれば、全天球画像撮像装置６０は左折する際の歩行者２００を撮像できる。
【００８９】
また、このラインＬは直線部分Ｓを有している。歩行者２００はこの直線部分Ｓに沿って（又は直線部分の上を）往復するので、全天球画像撮像装置６０は背後から歩行する歩行者２００、１８０度の方向転換を行う歩行者２００、及び、全天球画像撮像装置６０に正面から接近する歩行者２００を撮像できる。
【００９０】
また、歩行者２００が歩行する経路は８の字（8-shaped loop、又は、無限大（インフィニティの形状）などでもよく、図７に示したものには限られない。ラインＬは歩行動作を評価するために好ましい形状であればよい。
【００９１】
＜動作手順＞
続いて、図８〜１２を用いて、画像表示システム１００の動作手順について説明する。図８は画像表示システム１００の全体的な動作を説明するシーケンス図の一例である。図８では、サーバ１０が加速度測定装置５０と全天球画像撮像装置６０に対してそれぞれ測定開始、撮像開始の指示を行う場合のシーケンス図である。
【００９２】
S1：歩行動作の測定を始める際、指導者等は歩行動作の測定を開始する操作をサーバ１０に入力する。サーバ１０の操作入力受付部１４は指導者等の操作を受け付ける。
【００９３】
S2：サーバ１０の通信部１１は測定開始要求を加速度測定装置５０に送信する。
【００９４】
S3：加速度測定装置５０の通信部５１は測定開始要求を受信する。測定開始要求を取得することで、加速度測定装置５０は音声出力部２１２からブザー音などを出力する。これにより、歩行者は歩行を開始してよいことを把握できる。なお、「歩行を開始してください」などの音声メッセージ、バイブレーション機能による振動、ディスプレイ２１５へのメッセージの表示、ディスプレイ２１５の明滅などにより、歩行者に歩行開始を報知してもよい。
【００９５】
S4：サーバ１０の通信部１１は撮像開始要求を全天球画像撮像装置６０に送信する。
【００９６】
S5：全天球画像撮像装置６０の通信部６１は撮像開始要求を受信する。撮像開始要求の取得により、全天球画像撮像装置６０は音声出力部３１９からブザー音などを出力する。これにより、歩行者は歩行を開始してよいことを把握できる。この他の通知態様はステップＳ３と同様である。また、全天球画像撮像装置６０は歩行者の視野に入る場合があるので、全天球画像撮像装置６０がパトランプなどを点灯させてもよい。これにより、歩行者だけでなく周囲の指導者等も歩行者が歩行を開始してよいことを把握できる。なお、ステップＳ３とＳ５のブザーによる通知はどちらか一方があればよい。
【００９７】
S6、S7：測定開始要求により加速度測定装置５０の加速度検出部５２は加速度の測定を開始する。撮像開始要求により全天球画像撮像装置６０の撮像部６２は撮像を開始する。加速度測定装置５０の加速度検出部５２は歩行者が歩行している間に生じる加速度を測定し、全天球画像撮像装置６０の撮像部６２は、歩行する歩行者を撮像する。このようにサーバ１０からの指示により、測定データの測定開始と画像データの撮像開始をほぼ同時に同期させることができる。なお、ステップＳ２〜Ｓ７の順序は順不同である。サーバ１０は、同時期に測定データの測定開始と画像データの撮像開始を加速度測定装置５０と全天球画像撮像装置６０に送信すればよい。
【００９８】
S8：歩行者が十分に歩行したと指導者等が判断すると、指導者等は歩行動作の測定を終了する操作をサーバ１０に入力する。サーバ１０の操作入力受付部１４は指導者等の操作を受け付ける。
【００９９】
S9：サーバ１０の通信部１１は測定終了要求を加速度測定装置５０に送信する。加速度測定装置５０の通信部１１は測定終了要求を受信し、加速度検出部５２は加速度の測定を終了する。なお、ステップS3のように終了の旨を歩行者などに通知してもよい。
【０１００】
S10：サーバ１０の通信部１１は撮像終了要求を全天球画像撮像装置６０に送信する。全天球画像撮像装置６０の通信部６１は撮像終了要求を受信し、撮像部６２が全天球画像の撮像を終了する。なお、ステップS5のように終了の旨を歩行者などに通知してもよい。ステップＳ９、Ｓ１０の順序は順不同である。サーバ１０は、同時期に測定データの測定終了と画像データの撮像終了を加速度測定装置５０と全天球画像撮像装置６０に送信すればよい。
【０１０１】
このようにサーバ１０からの指示により、測定データの測定終了と画像データの撮像終了をほぼ同時に同期させることができる。
【０１０２】
S11：加速度測定装置５０の通信部５１は記憶部５０００に記憶しておいた測定データをサーバ１０に送信する。
【０１０３】
S12：全天球画像撮像装置６０の通信部６１は記憶部６０００に記憶しておいた画像データをサーバ１０に送信する。
【０１０４】
S13：サーバ１０の通信部１１は測定データと画像データを受信して、測定データＤＢ１００１と画像データＤＢ１００２にそれぞれ記憶させる。そして、サーバ１０の加速度データ加工部１３は離散データである加速度データを折線グラフなどに加工する。なお、このような加工は表示装置３０が行ってもよい。
【０１０５】
S14：次に、サーバ１０の画像調整部１２は、測定データと画像データの時間軸を同期させる処理を行う。測定データと画像データはほぼ同じ時間で取得されているが、測定データのデータ数と画像データのデータ数（フレーム数）は異なっている場合が多い。このため、画像調整部１２は測定データと画像データを対応付けることで時間軸を同期させる。測定開始時刻と撮像開始時刻がほぼ同じで測定終了時刻と撮像終了時刻がほぼ同じなので、測定データと画像データのデータ数の比率で時間軸を同期させることができる。例えば、測定データのデータ数が４００、画像データのデータ数が２００であれば、画像データの２フレームを測定データの１つの加速度に対応付ける。あるいは、測定時間に対する各測定データ（加速度）の測定時刻の比を算出し、撮像時間に対する各画像データ（フレーム）の撮像時刻の比を算出し、比が最も近いフレームと加速度を対応付けてもよい。あるいは、測定開始からの経過時間と撮像開始からの経過時間がほぼ同じ測定データと画像データを対応付けてもよい。
【０１０６】
さらに、後述するように測定開始時刻、測定終了時刻、撮像開始時刻及び撮像終了時刻の絶対時刻が得られる場合は、測定開始時刻から測定終了時刻と、撮像開始時刻から撮像終了時刻の重複部分を取り出し、重複部分の測定データと画像データを同様の比率計算などにより対応付ける。
【０１０７】
S15,S16：サーバ１０は測定データと画像データを表示装置３０に送信する。具体的には、指導者等は表示装置３０などを介してサーバ１０に対し測定データと画像データを要求する。あるいは、指導者等はサーバ１０に対し測定データと画像データを要求する操作を行い、サーバ１０の操作入力受付部１４がこの操作を受け付けてもよい。あるいは、表示装置３０がポーリングなどにより測定データと画像データの有無を問い合わせ、サーバ１０に測定データと画像データが送信されると、サーバ１０が問い合わせに対し測定データと画像データを表示装置３０に送信してもよい。
【０１０８】
S17：表示装置３０の通信部３１は測定データと画像データを受信し、表示制御部３２がディスプレイ１０８に測定データと画像データを同じ時間軸で表示する。表示のための処理を図１４以下にて説明する。
【０１０９】
<<動作の変形例>>
図９は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図９では、図８との差異を説明する。図９では、測定開始の契機が図８と異なっている。
【０１１０】
S1：歩行動作の測定を始める際、指導者等は歩行動作の測定を開始する操作を表示装置３０に入力する。表示装置３０の操作入力受付部３３は指導者等の操作を受け付ける。
【０１１１】
S1-1：表示装置３０の通信部３１は測定開始要求をサーバ１０に送信する。表示装置３０とサーバ１０はＨＴＴＰなどで通信できる。測定開始要求は、加速度の測定開始と歩行者の撮像開始の少なくとも一方を要求するものである。
【０１１２】
S8：歩行者が十分に歩行したと指導者等が判断すると、指導者等は歩行動作の測定を終了する操作を表示装置３０に入力する。表示装置３０の操作入力受付部３３は指導者等の操作を受け付ける。
【０１１３】
S8-1：表示装置３０の通信部３１は測定終了要求をサーバ１０に送信する。以降の処理は図８と同様である。測定終了要求は、加速度の測定終了と歩行者の撮像終了の少なくとも一方を要求するものである。
【０１１４】
従って、指導者はサーバ１０を操作しなくても表示装置３０から測定開始と測定終了をサーバ１０に要求できる。指導者等が表示装置３０を操作している場合はサーバ１０まで移動する必要をなくすことができる。
【０１１５】
<<動作の変形例>>
図１０は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図１０では、図８との差異を説明する。図１０では、歩行者が歩行を開始したことを測定開始の契機とする。歩行者は例えば指導者等の指導で歩行を開始し、また終了する。あるいは、ライン上のスタート位置からラインを一周してスタート位置などで停止する。
【０１１６】
S1：加速度測定装置５０の加速度検出部５２は、加速度に基づいて歩行者が歩行を開始したことを検知する。例えば、ｘ方向、ｙ方向及びｚ方向の１つ以上で閾値以上の加速度が検出されたこと、又は、加速度を２回積分して得られる単位時間当たりの位置の変化が閾値以上になったこと、などにより歩行の開始を判断できる。ジャイロセンサ２０７が検出する角速度や、ＧＰＳ受信部２１４が検出する位置、加速度・方位センサ２０６が検出する方位に基づいて判断してもよい。歩行開始を検知したことで、加速度検出部５２は加速度の測定を開始する（Ｓ６）。
【０１１７】
S2：加速度測定装置５０の通信部５１は歩行開始通知をサーバ１０に送信する。これにより、サーバ１０は全天球画像撮像装置６０に撮像開始要求を送信できる。なお、サーバ１０を介することなく、加速度測定装置５０の通信部５１は全天球画像撮像装置６０に歩行開始通知を送信してもよい。
【０１１８】
S8：加速度測定装置５０の加速度検出部５２は、加速度に基づいて歩行者が歩行を停止したことを検知する。例えば、ｘ方向、ｙ方向及びｚ方向の１つ以上で閾値以上の加速度が検出されなくなった、又は、加速度を２回積分して得られる単位時間の位置の変化が閾値未満になったこと、などにより歩行の終了（停止）を判断できる。ジャイロセンサ２０７が検出する角速度や、ＧＰＳ受信部２１４が検出する位置、加速度・方位センサ２０６が検出する方位に基づいて判断してもよい。歩行停止を検知したことで、加速度検出部５２は加速度の測定を終了する。
【０１１９】
S9：加速度測定装置５０の通信部５１は歩行終了通知をサーバ１０に送信する。これにより、サーバ１０は全天球画像撮像装置６０に撮像終了要求を送信できる。なお、サーバ１０を介することなく、加速度測定装置５０の通信部５１は全天球画像撮像装置６０に歩行終了通知を送信してもよい。以降の処理は図８と同様でよい。
【０１２０】
図１０の処理によれば、指導者等が測定開始や測定終了等の操作を行わなくても、歩行動作の測定を開始しまた終了できる。
【０１２１】
<<動作の変形例>>
図１１は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図１１では、図８との差異を説明する。本実施形態では、測定データと画像データの時間軸を同期させることが有効なので図８では測定開始と撮像開始、及び、測定終了と撮像終了をそれぞれ同期させた。従って、絶対時刻は不要であるが、図１１のようにサーバ１０は絶対時刻を用いて測定データと画像データを同期させてもよい。
【０１２２】
S3-1：ステップＳ２で測定開始要求を加速度測定装置５０の通信部５１が受信すると、加速度測定装置５０の加速度検出部５２は開始時刻をサーバ１０に要求する。
【０１２３】
S3-2：これにより、加速度測定装置５０の加速度検出部５２はサーバ１０から測定を開始した絶対時刻（測定開始時刻）を取得できる。
【０１２４】
S5-1：ステップＳ４で撮像開始要求を全天球画像撮像装置６０の通信部６１が受信すると、全天球画像撮像装置６０の撮像部６２は開始時刻をサーバ１０に要求する。
S5-2：これにより、全天球画像撮像装置６０の撮像部６２はサーバ１０から撮像を開始した絶対時刻（撮像開始時刻）を取得できる。
【０１２５】
S9-1：ステップＳ９で測定終了要求を加速度測定装置５０の通信部５１が受信すると、加速度測定装置５０の加速度検出部５２は終了時刻をサーバ１０に要求する。
S9-2：これにより、加速度測定装置５０の加速度検出部５２はサーバ１０から測定を終了した絶対時刻（測定終了時刻）を取得できる。
【０１２６】
S10-1：ステップＳ１０で撮像終了要求を全天球画像撮像装置６０の通信部６１が受信すると、全天球画像撮像装置６０の撮像部６２は終了時刻をサーバ１０に要求する。
【０１２７】
S10-2：これにより、全天球画像撮像装置６０の撮像部６２はサーバ１０から撮像を終了した絶対時刻（撮像終了時刻）を取得できる。
【０１２８】
サーバ１０は、加速度の測定開始時刻と測定終了時刻、及び、歩行者の撮像開始時刻と撮像終了時刻を測定データ及び画像データと共に取得する。何らかの理由で加速度の測定開始と撮像開始にタイムラグが発生したり、加速度の測定終了と撮像終了にタイムラグが発生したりしても、サーバ１０は測定データと画像データの時間軸を同期させることができる。
【０１２９】
<<動作の変形例>>
図１２は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図１２では、図１１との差異を説明する。図１１では、サーバ１０が加速度測定装置５０と全天球画像撮像装置６０にそれぞれ測定開始要求、撮像開始要求、測定終了要求、撮像終了要求を送信した。図１２では、サーバ１０は加速度測定装置５０と通信して、測定開始要求と測定終了要求を送信する。
【０１３０】
S2-1：加速度測定装置５０の通信部５１は測定開始要求を受信すると、全天球画像撮像装置６０に撮像開始要求を送信する。
【０１３１】
S2-2：全天球画像撮像装置６０の通信部６１は撮像開始要求を受信し、全天球画像撮像装置６０の撮像部６２は開始時刻を加速度測定装置５０に要求する。
【０１３２】
S2-3：加速度測定装置５０の通信部５１は開始時刻を要求されると、サーバ１０に対し開始時刻を要求する。
【０１３３】
S2-4：これに対し、サーバ１０は測定開始時刻を加速度測定装置５０に送信する。
【０１３４】
S2-5：加速度測定装置５０は全天球画像撮像装置６０に撮像開始時刻を送信する。従って、加速度測定装置５０と全天球画像撮像装置６０は同じ開始時刻をそれぞれ測定開始時刻と撮像開始時刻として扱うことができる。
【０１３５】
なお、ステップS2-2の時点で、加速度測定装置５０が保持している時刻（現在の時刻）を全天球画像撮像装置６０に送信してもよい。加速度測定装置５０はこの時刻から加速度の測定を開始し、全天球画像撮像装置６０はこの時刻から撮像を開始するので、測定開始時刻と撮像開始時刻を同期させることができる。
【０１３６】
測定と撮像の終了時の処理も同様である。
【０１３７】
S9-1：加速度測定装置５０の通信部５１は測定終了要求を受信すると、全天球画像撮像装置６０に撮像終了要求を送信する。
【０１３８】
S9-2：全天球画像撮像装置６０の通信部６１は撮像終了要求を受信して、全天球画像撮像装置６０の撮像部６２は終了時刻を加速度測定装置５０に要求する。
【０１３９】
S9-3：加速度測定装置５０の通信部５１は終了時刻を要求されると、サーバ１０に対し終了時刻を要求する。
S9-4：これに対し、サーバ１０は測定終了時刻を加速度測定装置５０に送信する。
S9-5：加速度測定装置５０は全天球画像撮像装置６０に撮像終了時刻を送信する。従って、加速度測定装置５０と全天球画像撮像装置６０は同じ終了時刻をそれぞれ測定終了時刻と撮像終了時刻として扱うことができる。
【０１４０】
なお、ステップS9-2の時点で、加速度測定装置５０が保持している時刻（現在の時刻）を全天球画像撮像装置６０に送信してもよい。加速度測定装置５０はこの時刻に加速度の測定を終了し、全天球画像撮像装置６０はこの時刻に撮像を終了するので、測定終了時刻と撮像終了時刻を同期させることができる。
【０１４１】
＜画像データと測定データの表示例＞
図１３を用いて、画像データと測定データの表示例について説明する。図１３は表示装置３０がディスプレイ１０８に表示した画像データと測定データの一例を示す。図１３のような画面をデータ表示画面５０１という。データ表示画面５０１は、主に画像データ欄５０２と測定データ欄５０３を有する。表示制御部３２は、画像データ欄５０２に画像データを表示し、測定データ欄５０３に測定データを表示する。表示制御部３２は、全天球画像の画像データから歩行者の撮像範囲を取り出して、画像データ欄５０２に表示する。この処理については後述する。
【０１４２】
画像データ欄５０２について説明する。画像データが静止画の場合、指導者等がボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は時間的に次の画像データを画像データ欄５０２に表示する。同様にボタン操作により表示制御部３２は時間的に前の画像データを画像データ欄５０２に表示することができる。また、表示制御部３２は静止画である画像データを一定の時間間隔で次々に画像データ欄５０２に表示してもよい。
【０１４３】
画像データが動画の場合、指導者等がボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は撮像速度（フレーム数／ｓｅｃ）と同じ再生速度で画像データを動画として再生する。高速再生及び低速再生止なども可能である。指導者等が再度ボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は再生を停止させる。よって、指導者等は任意のタイミングの画像データを表示することができる。なお、画像データだけでなく、画像データと共に集音された音声を出力してもよい。
【０１４４】
測定データ欄５０３について説明する。図１３ではｘ方向、ｙ方向及びｚ方向それぞれの加速度が時系列に表示されている。ｘ方向、ｙ方向又はｚ方向のうち任意の１つ以上の方向の加速度を指導者等が表示させることができる。画像データが静止画又は動画のどちらの場合でも、測定データは連続的に測定されている。あるいは、静止画の場合は、加速度測定装置５０と全天球画像撮像装置６０が同期を取って、静止画の全天球画像が撮像されるタイミングで加速度測定装置５０が加速度を取得してもよい。
【０１４５】
表示制御部３２は測定データの全てが測定データ欄５０３に表示しきれるように測定データを変倍して測定データ欄５０３に表示する。あるいは、ある程度の時間分の測定データを測定データ欄５０３に表示し、一定時間ごとに切り替えてもよい。図１３（ａ）のようにある程度の長さの測定データが測定データ欄５０３に表示されている場合、表示制御部３２は画像データ欄５０２に表示されている画像データに対応付けられている測定データを指し示すバー５０５を測定データ欄５０３に表示させる。例えば、測定データ欄５０３に全体又はある時間分の測定データが表示されており、動画の画像データが再生されている場合、表示制御部３２は表示中の画像データのフレームに対応付けられている測定データにバー５０５を重畳させる。従って、時間と共に又は動画の再生が進むにつれて、バー５０５が測定データ欄５０３を右に移動する。逆に、指導者等がバー５０５を移動させると操作入力受付部３３が操作を受け付けて、移動後のバー５０５が指し示す測定データに対応付けられている画像データのフレームを表示制御部３２が画像データ欄５０２に表示させる。
【０１４６】
また、図１３（ｂ）のように測定データを表示してもよい。図１３（ｂ）では、画像データ欄５０２に表示されている画像データに対応付けられている測定データとその前後の測定データだけが測定データ欄５０３に表示される。測定データ欄５０３には例えば１秒〜数秒程度の測定データだけが同時に表示される。なお、点線の測定データは測定データが連続していることを示すもので画面には表示されない。
【０１４７】
図１３（ｂ）の場合、動画や静止画の進行に応じて表示制御部３２が画像データ欄５０２に表示されている全天球画像と対応付けられている測定データを測定データ欄５０３の中央に表示する。サーバ１０により画像データと測定データとは対応付けられているので、画像データ欄５０２に表示されている画像データのフレームに対応付けられている測定データを少なくとも測定データ欄５０３に表示することができる。画像データ欄５０２の動画や静止画が停止されると、測定データも停止する。
【０１４８】
<<測定データの評価>>
測定データが加速度の場合、一般的な歩き方ではピークが周期的に現れまたピークの高さもあまり変動しない。これに対し、年齢やケガなどで歩行機能が衰えたりすると、加速度のピークが周期的に現れなくなったり、ピークの高さも変動しやすくなる。指導者等は、画像データを見るだけでも歩行動作を評価できる場合があるが、さらに歩行動作が適切でないことを測定データにより裏付けることができる。また、測定データに乱れがある場所を指導者等が特定して、画像データで確認したりすることができる。測定データには一覧性があるが、画像データはある瞬間のフレームしか表示されないので、指導者等は適切でない歩行動作を短時間で画像データから探すことができる。
【０１４９】
また、本実施形態では加速度を例にして説明しているが、ジャイロセンサ２０７による角速度、ＧＰＳ受信部等が検出した位置、加速度・方位センサが検出する方位などによっても、歩行動作が適切かどうかの裏付け等が可能である。例えば、ジャイロセンサ２０７が測定する角速度により歩行者が歩行する際のヨー角、ピッチ角、ロール角の変化の速さが分かる。この場合も加速度と同様に一般的な歩き方ではピークが周期的に現れまたピークの高さもあまり変動しないことが知られている。また、位置を２回微分すれば加速度が得られるため、位置も加速度と同等の情報を与える。また、旋回歩行の場合、方位は定常的に変化するが、方位を２回微分することで方位の変化の加速度が得られる。この場合も、ピークの周期と高さが評価の目安となる。また、これらの測定データでは、ピークが周期的で高さの変動が少ない場合でもピークが極端に大きいような場合には、歩行動作に改善点がある可能性があるとして指導者が画像データを確認することができる。
【０１５０】
また、表示装置３０の画像回転部３４は加速度と加速度＝０の軸との面積を算出してもよい。例えば、円形状に旋回歩行している場合、ｙ方向は歩行者の左右方向（円の半径方向）の加速度なので、加速度が正側の面積と負側の面積は、ラインに対する半径方向の加速度のぶれを示す。ラインの上を歩行者が歩行すれば、正側の面積と負側の面積はほぼ等しくなる。従って、正側の面積と負側の面積が大きく異なるような場合、左脚と右脚のバランスが悪いことが分かる。
【０１５１】
このように、指導者などは時間軸が同期された測定データと画像データを見ることで多くの情報を得ることができる。
【０１５２】
＜全天球画像の回転＞
画像データには、周囲３６０度の映像が映っているため、全体を表示すると画像が歪んでしまい歩行動作がわかりにくい。このため、表示制御部３２は歩行者が写っている範囲だけを画像データ欄５０２に表示することが好ましい。このような処理を全天球画像の回転、トリミング、歩行者の抽出、又は、取り出しなどと表現する。全天球画像の回転とは、全天球画像を水平方向に（経度方向に）回転させ画像データ欄５０２に表示される範囲を決定することをいう。
【０１５３】
図１４は、歩行者が写っている範囲を画像回転部３４が特定して画像データ欄５０２に表示する手順を示すフローチャート図の一例である。図１４の処理は、例えば表示装置３０が画像データを受信し、動画又は静止画の再生が行われるとスタートする。
【０１５４】
まず、画像回転部３４は歩行者の足の位置を特定する（Ｓ１０）。足とは履き物の部分をいう、履き物を履いていない場合はかかとからつま先までである。ただし、腰より下や膝より下を足として検出してもよい。動画の場合、歩行者が何回か足踏みするような動作を行えば、画像回転部３４は動体を検出することで歩行者を検出できる。あるいは顔を認識しても歩行者を検出できる。全天球画像撮像装置６０の周囲に歩行者以外の人が存在する可能性があるが、最も大きな画素範囲を占める移動体を歩行者として検出する。移動体のうち緯度が最も低い画素が足の位置である。この他、画像回転部３４が機械学習により足の画像を学習しておき、全天球画像から足を認識してもよい。
【０１５５】
また、歩行者が決まった位置から歩行を開始することを想定すると、歩行者の初期位置は全天球画像の水平方向の決まった位置である。従って、この場合、画像回転部３４は測定対象の歩行者を容易に特定できる。
【０１５６】
一度、全天球画像から歩行者を特定できれば、以降の全天球画像の歩行者の位置は、特定された歩行者の近くから検出できるはずなので、比較的、短時間で容易に検出できる。
【０１５７】
また、静止画の場合、初期の全天球画像の歩行者の位置は決まっているか又は指導者等が入力する。あるいは顔を認識しても歩行者を検出できる。初期の全天球画像の歩行者の外接矩形を用いて以降の全天球画像に対しパターンマッチングすることなどで、各静止画から歩行者を検出できる。
【０１５８】
歩行者が歩行を開始すると画像回転部３４は足の位置の変化から単位時間ごとの歩行者の角速度を算出する（Ｓ２０）。図１５を用いて角速度について説明する。図１５は全天球画像の上面図における歩行者の足５１１の位置を模式的に示す図である。例えば、北向きが基準であるとする。足５１１は経度方向に３６０度の範囲で位置（北向きをゼロ度とする角度）θを取り得る。１つのフレームで２つの足５１１が検出されるのでその平均を足５１１の位置とする。例えば過去の数秒間の足５１１の変化量の平均を所定時間ごと（例えばフレームを更新するごと）に算出する。これにより変動が少ない歩行者の角速度を算出できる。角速度は全天球画像撮像装置６０から見た歩行速度（進行速度情報）ということができる。なお、実空間におけるｘ方向の歩行速度はｘ方向の加速度を積分して得られる。
【０１５９】
画像回転部３４は、ステップＳ２０で算出した角速度で画像を回転させる（Ｓ３０）。すなわち、動画の再生のためフレームが切り替わると、画像回転部３４は角速度で歩行者が移動した位置を中心に画像データ欄５０２の表示範囲（所定範囲）の画像をトリミングする。これにより、画像回転部３４が取り出す画像にはほぼ中央に歩行者が映っている。
【０１６０】
表示制御部３２は、画像回転部３４がトリミングした表示範囲の画像を画像データ欄５０２に表示する。従って、指導者等は全天球画像から歩行者を探す必要なく、歩行者の歩行動作を評価できる。
【０１６１】
なお、通常の画角のカメラでは歩行者が映るように撮像されているので、回転やトリミングなどの処理は必要ない。また、画像回転部３４の機能をサーバ１０又は全天球画像撮像装置６０が有していてもよい。この場合、サーバ１０又は全天球画像撮像装置６０から表示装置３０へ画像データが送信される際の通信負荷や通信時間を低減できる。
【０１６２】
<<顔認識による全天球画像の回転>>
足の位置に着目する他、画像回転部３４は全天球画像から顔を認識することで歩行者を認識し、全天球画像を回転させてもよい。
【０１６３】
図１６は、歩行者が写っている範囲を画像回転部３４が特定して画像データ欄５０２に表示する手順を示すフローチャート図の一例である。図１６の処理は、例えば表示装置３０が画像データを受信し、動画又は静止画の再生が行われるとスタートする。
【０１６４】
まず、画像回転部３４は全天球画像ごとに顔を認識する（Ｓ１０）。図１７は顔５１２の認識を模式的に説明する図の一例である。顔５１２の認識は適切な特徴量の設定と、学習識別装置の学習により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置の学習方法としては、ＳＶＭ(Support Vector Machines)、AdaBoostなどが知られている。ただし、これらに限られるものではなく顔５１２を認識できればよい。
【０１６５】
画像回転部３４は、全天球画像から顔５１２を中心に画像データ欄５０２の表示範囲５１３（所定範囲）の画像をトリミングする。これにより、画像回転部３４が取り出す画像にはほぼ中央に歩行者が映っている。
【０１６６】
表示制御部３２は、画像回転部３４がトリミングした表示範囲５１３の画像を画像データ欄５０２に表示する。従って、指導者等は全天球画像から歩行者を探す必要なく、歩行者の歩行動作を評価できる。
【０１６７】
なお、全天球画像ごとに顔５１２の位置を決定してトリミングするのではなく、画像回転部３４は、過去のいくつかの全天球画像の顔５１２の位置から経度方向の移動速度を算出することで、次に表示する全天球画像から表示範囲を決定してもよい。顔５１２の位置が変動しにくくなるので、滑らかな動画を表示できる。
【０１６８】
以上説明したように、本実施形態の画像表示システム１００では、全天球画像撮像装置６０の周囲を旋回したり右左折する歩行者が撮像されるので、歩行者の様々な歩行動作を撮像可能になる。カメラを移動させたりモーションキャプチャを用いたりする必要がない。ただし、マーカを装着した歩行者が撮像されることを否定する趣旨ではない。また、歩行者の加速度などが画像データと同じ時間軸で表示されるので、指導者等は画像データと測定データを相補的に利用して歩行動作を評価できる。
【０１６９】
＜その他の構成例＞
図２の構成例は一例に過ぎず、画像表示システム１００は以下のような構成でもよい。図１８（ａ）は、画像表示システム１００の概略構成図の別の一例を示す。図１８（ａ）ではサーバ１０がディスプレイ１０８を有している。この構成では、サーバ１０が図５の表示装置３０の機能を有しており、サーバ１０が時間軸の同期だけでなく全天球画像の回転等を行い測定データと画像データを表示する。
【０１７０】
図１８（ｂ）では、サーバ１０と表示装置３０がなくなっている。この構成では、加速度測定装置５０が、図５のサーバ１０と表示装置３０の機能を有している。
【０１７１】
図１９は、図１８（ｂ）のような構成において、加速度測定装置５０が測定データと画像データを表示するシーケンス図である。
【０１７２】
S1：歩行動作の測定を始める際、指導者又は歩行者は歩行動作の測定を開始する操作を加速度測定装置５０に入力する。加速度測定装置５０は指導者又は歩行者の操作を受け付ける。
【０１７３】
S2：加速度測定装置５０は撮像開始要求を全天球画像撮像装置６０に送信する。
【０１７４】
S3,S4：加速度測定装置５０は加速度の測定を開始し、全天球画像撮像装置６０は歩行者の撮像を開始する。
【０１７５】
S5：歩行が終了すると、指導者又は歩行者は歩行動作の測定を終了する操作を加速度測定装置５０に入力する。加速度測定装置５０は指導者又は歩行者の操作を受け付ける。
【０１７６】
S6：加速度測定装置５０は撮像終了要求を全天球画像撮像装置６０に送信する。
【０１７７】
S7：全天球画像撮像装置６０は撮像を終了し画像データを加速度測定装置５０に送信する。
【０１７８】
S8：加速度測定装置５０はサーバ１０で説明したように測定データを加工する。
【０１７９】
S9：また、加速度測定装置５０はサーバ１０が行ったように測定データと画像データの時間軸を同期させる。
【０１８０】
S10：加速度測定装置５０は自機のディスプレイ２１５に測定データと画像データを表示する。
【０１８１】
S11：あるいは、加速度測定装置５０は指導者などの端末（サーバ１０など）に測定データと画像データを送信してもよい。
【０１８２】
S12：これにより、指導者などの端末は測定データと画像データを表示する。
【０１８３】
従って、図１８（ｂ）のような構成によれば、システム構成を簡易化できる。歩行者は加速度測定装置５０を装着して歩行し、歩行の終了後は加速度測定装置５０を指導者などに渡せば指導者から指導を受けることができる。
【０１８４】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１８５】
例えば、本実施形態では、測定データの測定終了後及び画像データの撮像終了後に、測定データ及び画像データが表示されているが、リアルタイムに測定データ及び画像データが表示されてもよい。この場合、表示される測定データ及び画像データはほぼ同時期に撮像されたものである。
【０１８６】
また、以上の実施例で示した図５などの構成例は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の処理の理解を容易にするために、主な機能に応じて分割したものである。例えば、サーバ１０が複数、存在し、複数のサーバ１０が協働して本実施形態の処理を行ってもよい。また、サーバ１０の記憶部１０００はサーバ１０が有している必要がなく、記憶部１０００はサーバ１０が記憶部１０００のデータを読み書き可能な場所にあればよい。
【０１８７】
また、図６ではサーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。
【０１８８】
なお、全天球画像撮像装置６０は広角撮像装置の一例であり、加速度測定装置５０は測定装置の一例であり、通信部１１は取得手段の一例であり、画像調整部１２は対応付け手段の一例であり、表示制御部３２は表示手段の一例であり、加速度検出部５２は測定手段の一例であり、画像回転部３４は抽出手段の一例であり、同期指示部１５は指示手段の一例であり、操作入力受付部３３，１４は受付手段の一例である。
【符号の説明】
【０１８９】
１０        サーバ
１２        画像調整部
３０        表示装置
３２        表示制御部
３３        操作入力受付部
３４        画像回転部
５０        加速度測定装置
６０        全天球画像撮像装置
１００      画像表示システム
【先行技術文献】
【特許文献】
【０１９０】
【特許文献１】特開２０１０‐１７２３９４号公報
【図１】
2017151281.tif 000003
【図２】
2017151281.tif 000004
【図３】
2017151281.tif 000005
【図４】
2017151281.tif 000006
【図５】
2017151281.tif 000007
【図６】
2017151281.tif 000008
【図７】
2017151281.tif 000009
【図８】
2017151281.tif 000010
【図９】
2017151281.tif 000011
【図１０】
2017151281.tif 000012
【図１１】
2017151281.tif 000013
【図１２】
2017151281.tif 000014
【図１３】
2017151281.tif 000015
【図１４】
2017151281.tif 000016
【図１５】
2017151281.tif 000017
【図１６】
2017151281.tif 000018
【図１７】
2017151281.tif 000019
【図１８】
2017151281.tif 000020
【図１９】
2017151281.tif 000021