(57)【要約】【課題】動体の進行動作を評価できる情報処理装置を提供すること。    【解決手段】本発明は、水平方向の周囲を撮像できる広角撮像装置６０が撮像した画像データを表示する情報処理装置１０，３０であって、前記画像データに写っている動体の位置を推定する位置推定手段１８と、  前記位置推定手段が推定した前記動体の位置の軌跡を前記画像データと共に表示装置に表示させる表示制御手段３２と、を有する。【選択図】図１
2017225722.tif 000002
【特許請求の範囲】
【請求項１】
水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを表示する情報処理装置であって、
前記画像データに写っている動体の位置を推定する位置推定手段と、
前記位置推定手段が推定した前記動体の位置の軌跡を前記画像データと共に表示装置に表示させる表示制御手段と、
を有する情報処理装置。
【請求項２】
前記画像データは撮像時刻が異なる複数のフレームを有し、
前記表示制御手段は、前記表示装置に表示中のフレームよりも過去のフレームで推定された前記動体の位置を前記表示装置に表示されている前記動体が移動した軌跡として、前記画像データと共に表示装置に表示させる請求項１に記載の情報処理装置。
【請求項３】
前記動体が移動するべき理想的な軌跡をフレームに配置する画像処理手段を有し、
前記表示制御手段は、前記動体が移動した軌跡及び前記理想的な軌跡と共に前記画像データを表示装置に表示させる請求項１又は２に記載の情報処理装置。
【請求項４】
前記画像処理手段は、各フレームから前記位置推定手段が推定した前記動体の位置を用いて二次元平面に前記動体が移動した軌跡を配置すると共に、前記二次元平面に前記理想的な軌跡を配置し、
前記表示制御手段は、前記二次元平面を表示装置に表示させる請求項３に記載の情報処理装置。
【請求項５】
前記位置推定手段は、前記理想的な軌跡に対する前記動体の軌跡の乖離に関する乖離情報を算出し、
前記表示制御手段は前記乖離情報を表示装置に表示させる請求項３又は４に記載の情報処理装置。
【請求項６】
前記画像処理手段は、前記位置推定手段が前記動体の位置を推定するために使用したフレームに、前記動体の位置を表すマークを配置し、
前記画像処理手段は、前記動体の位置を推定するために使用したフレームに、前記動体の位置を推定するために使用したフレームよりも過去のフレームで推定された前記動体の位置を表すマークを配置する請求項３に記載の情報処理装置。
【請求項７】
前記動体が歩行者である場合、前記画像データから歩行者の頭部を検出する検出手段を有し、
前記位置推定手段は、頭部の位置の下方にある前記歩行者の足位置を前記動体の位置として推定する請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記位置推定手段は、前記動体が写っていない規準フレームと各フレームとの差分画像を作成し、前記差分画像から前記動体を検出することで前記動体の位置を推定する請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項９】
前記位置推定手段は、前記動体が写っていない規準フレームと各フレームとの差分画像を作成し、所定時間の複数の前記差分画像の論理和を取ることで、前記動体が移動する際に所定時間、静止している所定部を検出し、前記所定部の位置を前記動体の位置として推定する請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項１０】
前記位置推定手段は、全ての前記差分画像の論理和を取ることで、全てのフレームで前記動体が写っていない領域が表示された動体軌跡画像を作成し、
前記表示制御手段は前記動体軌跡画像を表示装置に表示させる請求項８に記載の情報処理装置。
【請求項１１】
前記位置推定手段は、所定時間の複数の前記差分画像の論理和が取られた論理和画像を作成し、所定時間ごとに作成される論理和画像の更に論理和を取ることで、前記所定部のみが写っている動体軌跡画像を作成し、
前記表示制御手段は前記動体軌跡画像を表示装置に表示させる請求項９に記載の情報処理装置。
【請求項１２】
水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを表示する情報処理装置を、
前記画像データに写っている動体の位置を推定する位置推定手段と、
前記位置推定手段が推定した前記動体の位置の軌跡を前記画像データと共に表示装置に表示させる表示制御手段、として機能させるためのプログラム。
【請求項１３】
水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを取得する情報処理装置と、前記画像データを表示する表示装置とを有する画像表示システムであって、
前記画像データに写っている動体の位置を推定する位置推定手段と、
前記位置推定手段が推定した前記動体の位置の軌跡を前記画像データと共に表示装置に表示させる表示制御手段と、
を有する画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム及び画像表示システムに関する。
【背景技術】
【０００２】
人などが歩行することは健康促進に役立つことが知られている。また、歩行の際には正しい姿勢で歩行することが健康上好ましく、また、転倒しにくいとされている。歩行時の姿勢を本人が評価することは困難なので、歩行に関する指導者等が歩行動作を客観的に解析したり、解析結果を歩行者に指導する試みが行われる場合がある。
【０００３】
人などの姿勢や動作を測定するシステムとしてはモーションキャプチャシステムが知られている。モーションキャプチャシステムでは、マーカなどが体の関節位置などに装着された人などをカメラが撮像して、トラッカーによりマーカの動きを追跡することで、コンピュータが人などの歩行動作を解析することができる。
【０００４】
しかしながら、モーションキャプチャシステムは、様々な角度から人などの動きを捉えるためにマーカが多数必要であり、歩行動作の撮像までの準備や撮像後の解析に時間やコストがかかる傾向がある。また、実験室のような特別な環境でしか歩行動作を測定できないという不都合があった。
【０００５】
このような不都合に対して、身体の所定の部位に複数のマークが装着された歩行者の撮像画像を用い比較的簡単な構成で歩行動作を解析できる技術が考案されている（例えば、特許文献１参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、移動する歩行者の進行動作を評価しにくいという問題がある。これは、歩行することで人などは徐々に移動するのに対しカメラの位置や向きは固定されているためである。カメラが固定されていると、例えば、直線的に歩行する歩行者の歩行動作しか撮像できず、直線的な歩行以外の歩行者の歩行動作を撮像することが困難である。
【０００７】
人の歩行に合わせてカメラの向きや位置を変更するシステムがあれば撮像可能な歩行動作を広げることができるが、そのためのコストやスペースを考慮すると広く一般に使用されるシステムとして実現することは容易でない。
【０００８】
また、仮に適切に歩行者を撮像できたとしても、撮像された画像データにはその瞬間の歩行者しか撮像されていないため、歩行者の過去の経路は分からない。このため、歩行者がどのように歩行してきたかを評価しにくい。
【０００９】
本発明は、上記課題に鑑み、動体の進行動作を評価できる情報処理装置を提供することを目的する。
【課題を解決するための手段】
【００１０】
本発明は、水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを表示する情報処理装置であって、前記画像データに写っている動体の位置を推定する位置推定手段と、前記位置推定手段が推定した前記動体の位置の軌跡を前記画像データと共に表示装置に表示させる表示制御手段と、を有する。
【発明の効果】
【００１１】
動体の進行動作を評価できる情報処理装置を提供することができる。    
【図面の簡単な説明】
【００１２】
【図１】画像表示システムの概略的な動作を説明する図の一例である。
【図２】画像表示システムの概略構成図の一例である。
【図３】サーバのハードウェア構成図の一例である。
【図４】加速度測定装置のハードウェア構成図の一例である。
【図５】全天球画像撮像装置のハードウェア構成図の一例である。
【図６】サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である。
【図７】全天球画像撮像装置の周囲を歩行者がどのように歩行するかを説明する図の一例である。
【図８】画像表示システムの全体的な動作を説明するシーケンス図の一例である。
【図９】人物の頭部と足位置を説明する図の一例である。
【図１０】サーバが人物の足位置を特定する処理を示したフローチャート図の一例である。
【図１１】足位置の算出を説明するための図の一例である。
【図１２】画像データへの足マークの配置を模式的に説明する図の一例である。
【図１３】表示装置がディスプレイに表示した画像データと測定データの一例を示す。
【図１４】画像合成部が画像データに足マークを配置する手順を示すフローチャート図の一例である。
【図１５】理想ラインの描画を説明する図の一例である。
【図１６】表示装置がディスプレイに表示した理想ラインを含む画像データの一例である。
【図１７】障害物で足が隠れている場合に足マークと共に表示される画像データの一例である。
【図１８】画像合成部が画像データに足マークを配置する手順を示すフローチャート図の一例である。
【図１９】平面的に表示された足マークと理想ラインを示す図である。
【図２０】画像合成部が乖離平均等を算出する手順を示すフローチャート図の一例である。
【図２１】サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である。
【図２２】画像表示システムの全体的な動作を説明するシーケンス図の一例である。
【図２３】差分画像の求め方を説明する図の一例である。
【図２４】差分画像から足位置の検出方法を説明する図の一例である。
【図２５】足位置軌跡画像の作成方法を説明する図である。
【図２６】表示装置が差分画像等を表示する手順を示すフローチャート図の一例である。
【図２７】差分画像を用いた足位置の推定方法を説明する図の一例である。
【図２８】足位置軌跡画像の一例を示す図である。
【図２９】表示装置が差分画像等を表示する手順を示すフローチャート図の一例である。
【図３０】画像表示システムの概略構成図の別の一例である。
【図３１】サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である（変形例）。
【図３２】サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である（変形例）。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【実施例１】
【００１４】
＜画像表示システムの概略＞
図１は、本実施形態における画像表示システム１００の概略的な動作を説明する図の一例である。全天球画像撮像装置６０が設置されており、その周囲を歩行する歩行者を全天球画像撮像装置６０が撮像する。歩行者は加速度測定装置５０を身体に装着しており、加速度測定装置５０は撮像中の歩行者に生じる加速度を測定している。
【００１５】
（１）全天球画像撮像装置６０は画像データをサーバ１０に送信し、加速度測定装置５０は加速度の測定データをサーバ１０に送信する。
【００１６】
（２）画像データの撮像開始時刻と測定データの測定開始時刻は同期しており、画像データの撮像終了時刻と測定データの測定終了時刻は同期している。このため、サーバ１０は画像データと測定データの時間軸を同期させることができる。また、サーバは歩行者の足位置を特定し、画像データの特定した足位置に足マーク９１を配置する処理を行う。
【００１７】
（３）サーバ１０は、時間軸を同期させた画像データと測定データを表示装置３０に送信する。これにより表示装置３０は画像データと測定データを同じ時間軸で表示することができる。
【００１８】
（４）表示装置３０は全天球画像から歩行者を検出して歩行者を含む表示範囲をトリミングしてディスプレイに表示する。全天球画像は周囲の３６０°を撮像可能であるため歩行者が全天球画像撮像装置６０のどの方位にいても同じ大きさで撮像できる。しかし、表示装置３０が全天球画像をメルカトル図法などで長方形に変換すると、画像が歪むために指導者等が見にくいおそれがある。また、歩行者の画像も小さくなってしまう。そこで、表示装置３０は上記のようにトリミングすることで歪みの少ない歩行者を大きくディスプレイに表示することを可能とする。画像データには足マーク９１が表示されるので、指導者等は歩行者が歩いた軌跡を画像データで確認できる。
【００１９】
また、全天球画像撮像装置６０が用いられ、その周囲を歩行する歩行者が撮像されるので、直線的に移動する歩行者だけでなく旋回したり右左折したり歩行者を撮像可能になる。歩行者は旋回したり右左折する際に重心を崩しやすいことが知られており、旋回したり右左折する歩行者を撮像できることが歩行動作の解析に有効になる。また、全天球画像撮像装置６０はカメラを移動させたりすることなく歩行者の側面を常に撮像できるので歩行者の身体の前後方向の揺れ方などを撮像できる。また、歪みの少ない画像で常に歩行者が大きく表示されるので指導者にとっても見やすい映像となる。歩き方の指導者等は、歩行者の歩行動作を映像で確認して歩行動作を評価し改善点を指導できる。
【００２０】
また、歩行者の加速度などが測定された測定データが画像データと同じ時間軸で表示されるので、指導者等が改善すべき歩行動作を発見した場合に、歩行動作が良好でないことを測定データで裏付けることができる。また逆に、予め用意されている良好とされる測定データと歩行者（被験者）の測定データを比較することで、指導者等は好ましくない測定データを発見できる。好ましくない測定データは画像データと対応付けられているので、指導者等は改善すべき歩行動作を画像データから特定することができる。したがって、測定データと画像データを相補的に利用して歩行動作を評価できる。
【００２１】
＜用語について＞
動体とは、前方、後方、横方向などに進行する対象をいう。あるいは、重心移動を伴って進行する対象である。具体的には、人、動物又はロボット等が挙げられるが、以下では説明のため人（歩行者）を例にして説明する。歩行には走ることが含まれる。また、後ろ向きに歩行してもよい。また、人などが乗車した車椅子、義足を装着した人、自転車、竹馬、三輪車なども動体である。
【００２２】
動体は方向を変えながら又は方向を変えて歩行する。「方向を変えながら」とは、少なくとも歩行した経路が直線でないことをいう。また、「方向を変えて」とは歩行した経路から２つ以上の直線が見いだせることをいう。具体的には動体は旋回したり右左折したりする。
【００２３】
画像データと測定データが対応づけられるとは、いくつかある画像データのうち１つ以上の画像データが決まると、いくつかある測定データのうち１つ以上の測定データが決まることをいう。あるいは、ほぼ同じ時刻に測定された画像データと測定データが特定され、時刻、画像データ又は測定データの１つが決まると残りが決まることをいう。
【００２４】
指導者とは、歩行者の歩行動作を映像で確認して歩行動作を評価し改善点等を立案できる者をいう。具体的には理学療法士、保健師、臨床検査技師、義肢装具士などの資格の保有者が挙げられるが、資格はなくてもよい。また、歩行動作を評価し改善点等を立案できる者でなくても画像表示システム１００の操作は可能であり、指導者は操作者、ユーザ、又は利用者等と呼ばれてもよい。
【００２５】
＜システム構成例＞
図２は、本実施形態の画像表示システム１００の概略構成図の一例を示す。画像表示システム１００は、ネットワークＮを介して相互に通信可能なサーバ１０、加速度測定装置５０、全天球画像撮像装置６０、及び、表示装置３０を有する。
【００２６】
ネットワークＮは、画像表示システム１００が配置されている施設などに構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、表示装置３０が直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。
【００２７】
全天球画像撮像装置６０は全天球画像又は全方位画像（以下、単に全天球画像又は全方位画像という）と呼ばれる周囲３６０°の風景を撮像する撮像装置（カメラ）である。後述する光学系を備えることで全天球画像撮像装置６０は一回の撮像動作で全天球画像を得ることができる。全天球画像にはほぼ死角なく周囲３６０°の画像が撮像されているため、指導者等は任意の領域を選択的にディスプレイ等に表示させ閲覧することができる。なお、本実施形態では、緯度方向（画像の上下方向）で３６０°度の撮像範囲を有していなくてもよい。天井部や床の領域は歩行者が映らないためである。また、経度方向（画像の水平方向）で３６０°度の全範囲で撮像できなくてもよい。これは、歩行者の歩行動作を指導者等が解析するために全天球画像撮像装置６０の全周の旋回までは必要でない場合があるためである。また、全天球画像撮像装置６０として、ある画角の矩形範囲を撮像する撮像装置が撮像した複数の画像をつなぎ合わせることで全天球画像を得る撮像装置が用いられてもよい。
【００２８】
加速度測定装置５０は、歩行者の加速度を測定する装置である。加速度は鉛直方向加速度、進行方向加速度、左右方向加速度の３軸それぞれで測定されることが好適であるが、いずれか一方向の加速度でもよい。加速度測定装置５０として加速度を測定する専用のセンサも存在するが、加速度測定装置５０は加速度センサを有している装置であればよい。具体的には、スマートフォン、携帯電話、タブレット端末、ノートＰＣ、ウェアラブルＰＣ（ヘッドマウントディスプレイ、サングラスや腕時計などとして装着される）、歩度計などであるが、これらには限られない。
【００２９】
また、加速度測定装置５０は、加速度の他、角速度、位置、方位などを測定する機能を有してよい。角速度を測定するセンサはジャイロセンサと呼ばれ、位置はＧＰＳ衛星、ＩＭＥＳ、又は、ビーコンなどにより加速度測定装置５０に提供される。東西南北の方位を例えば北を基準に検出するセンサは方位センサと呼ばれる。これらはいずれも加速度と同様に歩行動作の評価に用いられることができる。本実施形態では、説明を簡便にするため加速度測定装置５０が加速度を測定するものとして説明するが、加速度測定装置５０はこれら歩行動作の評価に用いられる測定データをサーバ１０に送信できる。
【００３０】
サーバ１０は、全天球画像撮像装置６０からの画像データを受信して加工したり、測定データを受信して画像データと時間軸を同期させたりする情報処理装置である。このサーバ１０の機能を加速度測定装置５０や表示装置３０が兼用することができる。
【００３１】
表示装置３０は、指導者等が画像データと測定データを表示させる端末装置として使用される情報処理装置である。具体的には、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット装置、携帯電話機、カーナビゲーション端末、ウェアラブルコンピュータ（ヘッドマウントディスプレイ、サングラス、腕時計など）、カメラ、電子黒板、プロジェクタ、ゲーム機、又は、ＭＦＰ（Multifunction Peripheral/Printer/Product）などが挙げられる。
【００３２】
＜ハードウェア構成例＞
図３は、サーバ１０のハードウェア構成図の一例である。なお、図示するサーバ１０のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、サーバ１０が備えていることが好ましいハード的な要素を示す。サーバ１０の構成は負荷などに応じて適宜リソースが配分されるクラウドコンピューティングにより決定されてもよい。
【００３３】
サーバ１０は、バス１１０に接続されたＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５、メディアドライブ１０７、ディスプレイ１０８、ネットワークＩ／Ｆ１０９、キーボード１１１、マウス１１２、及び、光学ドライブ１１４を有する。ＣＰＵ１０１は、ＨＤ１０４に記憶されている画像処理プログラムを実行して、サーバ１０の全体の動作を制御する。ＲＯＭ１０２はＩＰＬ（Initial Program Reader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶している。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される主記憶装置である。ＨＤ１０４は不揮発性メモリを搭載した記憶装置である。
【００３４】
ＨＤＤ(Hard Disk Drive)１０５はＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ（表示装置３０）１０８はカーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ１０９はネットワークＮとのインタフェースである。
【００３５】
キーボード１１１及びマウス１１２は入出力装置であり、キーボード１１１は文字、数値、各種指示などの入力のための複数のキーを備えこれらからの入力を受け付ける。マウス１１２はマウスポインターの移動及び各種指示の選択や実行、処理対象の選択などを受け付ける。
【００３６】
メディアドライブ１０７はフラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御する。光学ドライブ１１４は着脱可能な記録媒体の一例としての光記憶メディア１１３等に対する各種データの読み出し又は書き込みを制御する。
【００３７】
なお、上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６や光記憶メディア１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、画像処理プログラムは、任意のサーバ１０型の情報処理装置からダウンロードされる形態で配布されてもよい。
【００３８】
なお、表示装置３０のハードウェア構成は図３と同様であるか、又は、異なっているとしても本実施形態の説明の上で支障はないものとする。
【００３９】
図４は、加速度測定装置５０のハードウェア構成図の一例を示す。なお、図４は加速度測定装置５０としてスマートフォンやタブレット装置が想定された構成になっているが、加速度測定装置５０のハードウェア構成としてはこれに限られない。
【００４０】
加速度測定装置５０は、互いにバス２１０に接続された、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、フラッシュメモリ２０４、ＣＭＯＳセンサ２０５、加速度・方位センサ２０６、ジャイロセンサ２０７、メディアドライブ２０８、音声入力部２１１、音声出力部２１２、通信装置２１３、ＧＰＳ受信部、ディスプレイ２１５、及び、タッチパネル２１６を有する。バス２１０は、これら各部を電気的に接続するためのアドレスバスやデータバス等である。
【００４１】
ＣＰＵ２０１はフラッシュメモリ２０４に記憶されているプログラムを実行することで表示装置３０全体の動作を制御する。ＲＯＭ２０２はＩＰＬや基本入出力プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際にワークエリアとして使用される主記憶装置である。フラッシュメモリ２０４は表示装置３０が実行するプログラムや各種のデータを記憶する不揮発性の記憶装置である。プログラムは、例えば、オペレーティングシステム、全天球画像撮像装置６０が実行する装置プログラムである。
【００４２】
ＣＭＯＳセンサ２０５は、ＣＰＵ２０１の制御にしたがって被写体を撮像し画像データを得る撮像素子である。ＣＭＯＳセンサ２０５の代わりにＣＣＤセンサを用いてもよい。加速度・方位センサ２０６は、地磁気を検知する電子磁気コンパスとしての機能や３軸方向の加速度を測定する機能等を備えている。ジャイロセンサ２０７は、ｘ軸、ｙ軸又はz軸に対し加速度測定装置５０が回転する際の角速度を検出する。それぞれの軸の回転角度はヨー角、ピッチ角、ロール角と呼ばれる。
【００４３】
メディアドライブ２０８は、フラッシュメモリ等の記録メディア２０９に対するデータの読み出し又は書き込み（記憶）を制御する。メディアドライブ２０８の制御にしたがって、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア２０９が着脱自在な構成となっている。
【００４４】
音声入力部２１１は音声を音声信号に変換するマイクである。音声出力部２１２は、音声信号を音声に変換するスピーカである。通信装置２１３は、アンテナ２１３ａを利用して無線通信信号により、最寄りの無線局装置９と通信を行う。あるいは、通信装置２１３はＬＡＮに接続するＬＡＮカードの場合がある。ＧＰＳ受信部２１４は、ＧＰＳ衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって表示装置３０の位置情報（緯度、経度、及び高度）を検出する。
【００４５】
ディスプレイ２１５はＣＰＵ２０１の制御により全天球画像を表示したり、ユーザが表示装置３０を操作するための各種のメニュー、アイコンなどを表示する。タッチパネル２１６は、ディスプレイ２１５上に一体に重畳され指やタッチペン等によるタッチに対しディスプレイ２１５上におけるタッチ位置（座標）を検出する。
【００４６】
なお、装置プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０９等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、装置プログラムは、任意のサーバ１０型の情報処理装置からダウンロードされる形態で配布されてもよい。
【００４７】
図５は、全天球画像撮像装置６０のハードウェア構成図の一例である。以下では、全天球画像撮像装置６０は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球画像撮像装置６０と同じ機能を有するようにしてもよい。
【００４８】
図５に示されているように、全天球画像撮像装置６０は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、音声出力部３１９、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び、アンテナ３１７ａを有している。
【００４９】
このうち、撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）３０２ａ，３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ，３０３ｂを備えている。撮像素子３０３ａ，３０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００５０】
撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、各々、画像処理ユニット３０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、撮像制御ユニット３０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。更に、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び電子コンパス３１８なども接続される。
【００５１】
画像処理ユニット３０４は、撮像素子３０３ａ，３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図法の画像のデータを作成する。
【００５２】
撮像制御ユニット３０５は、一般に撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ，３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ３１１から受け取る。また、該撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。
【００５３】
また、撮像制御ユニット３０５は、操作部３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ，３０３ｂに画像データの出力を指示する。全天球画像撮像装置６０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ，３０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。なお、フレームとは１枚の画像をいう。
【００５４】
また、撮像制御ユニット３０５は、後述するように、ＣＰＵ３１１と協働して撮像素子３０３ａ，３０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球画像撮像装置６０には表示部が設けられていないが、表示部を設けてもよい。
【００５５】
マイク３０８は、音を音（信号）データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。音声出力部３１９は、音声信号を音声に変換するスピーカである。
【００５６】
ＣＰＵ３１１は、全天球画像撮像装置６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒図法により作成された画像のデータを記憶する。
【００５７】
操作部３１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【００５８】
ネットワークＩ／Ｆ３１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ３１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ３１４に記憶された正距円筒図法により作成された画像のデータは、このネットワークＩ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ３１６を介して外部装置に送信されたりする。
【００５９】
通信装置３１７は、全天球画像撮像装置６０に設けられたアンテナ３１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって外部装置と通信を行う。この通信装置３１７によっても、正距円筒図法により作成された画像のデータを外部装置に送信することができる。
【００６０】
電子コンパス３１８は、地球の磁気から全天球画像撮像装置６０の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【００６１】
＜機能構成＞
次に、図６を用いて、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能構成について説明する。図６は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能ブロック図の一例である。
【００６２】
<<サーバ１０の各機能構成>>
サーバ１０は、通信部１１、画像調整部１２、加速度データ加工部１３、操作入力受付部１４、同期指示部１５、人物検出部１６、顔検出部１７、足位置算出部１８、画像合成部２１、及び、記憶・読出部１９を有している。サーバ１０が有するこれらの各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された画像処理プログラム１０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能される手段である。
【００６３】
また、サーバ１０は、図３に示されているＨＤ１０４、ＲＯＭ１０２及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部１０００を有している。記憶部１０００には、画像処理プログラム１０１０、測定データＤＢ１００１、画像データＤＢ１００２及び人物検出管理ＤＢ１００３が記憶されている。測定データＤＢ１００１は、加速度測定装置５０から送信された測定データが記憶される記憶手段である。画像データＤＢ１００２は、全天球画像撮像装置６０から送信された画像データが記憶される記憶手段である。人物検出管理ＤＢ１００３について説明する。
【００６４】
【表１】
2017225722.tif 000003
表１は、人物検出管理ＤＢ１００３に記憶されている情報をテーブル状に示す表である。このテーブルを人物画像管理テーブルと称する。この人物画像管理テーブルでは、撮像画像ＩＤ毎に、撮像画像データのファイル名、撮像画像の撮像日時、顔ＩＤ、及び足位置が関連付けて記憶されて管理されている。
【００６５】
撮像画像ＩＤは、撮像画像データを識別するための撮像画像識別情報の一例である。撮像画像データのファイル名は、この関連付けられている撮像画像ＩＤで示される撮像画像データのファイル名である。撮像画像の撮像日時は、撮像画像データが撮像装置１で撮像された日時である。撮像画像データは、記憶部５０００に記憶されている。
【００６６】
また、顔ＩＤは、顔検出部１７によって、撮像画像データから検出された人物の顔を含む頭部を識別するための顔識別情報の一例である。足位置は、足位置算出部１８によって算出された画像データにおける足位置を示す。この場合、足位置は、メルカトル画像における二次元の足位置を示すが、足位置は、（ｘ，ｙ）＝（緯度，経度）によって示してもよい。両者は相互に変換可能である。
【００６７】
（サーバ１０の機能）
サーバ１０の通信部１１は、図３に示されているＣＰＵ１０１からの命令、及びネットワークＩ／Ｆ１０９等によって実現され、ネットワークＮを介して、加速度測定装置５０、全天球画像撮像装置６０、及び、表示装置３０と各種データの送受信を行う。なお、以下ではサーバ１０が通信部１１の機能で通信する場合でも「通信部１１を介して通信する」という記載を省略する場合がある。表示装置３０，全天球画像撮像装置６０及び加速度測定装置５０についても同様である。
【００６８】
画像調整部１２は、図３に示されているＣＰＵ１０１からの命令等により実現され、全天球画像撮像装置６０から取得した画像データと加速度測定装置５０から取得した測定データの時間軸を同期させる。
【００６９】
加速度データ加工部１３は、図３に示されているＣＰＵ１０１からの命令等により実現され、離散的な測定データを滑らかに結合したりして時間軸に対するグラフに変換する。
【００７０】
操作入力受付部１４は、図３に示されているＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。
【００７１】
同期指示部１５は、図３に示されているＣＰＵ１０１からの命令等により実現され、測定データと画像データの同期に関する処理を行う。具体的には同時期に測定開始と撮像開始を全天球画像撮像装置６０と加速度測定装置５０に要求したり、同時期に測定終了と撮像終了を全天球画像撮像装置６０と加速度測定装置５０に要求したりする。また、絶対時刻を全天球画像撮像装置６０と加速度測定装置５０に提供したりする。
【００７２】
人物検出部１６は、図３に示されているＣＰＵ１０１からの命令等により実現され、画像データから人物を検出する。
【００７３】
顔検出部１７は、図３に示されているＣＰＵ１０１からの命令等により実現され、画像データから顔を検出する。
【００７４】
足位置算出部１８は、図３に示されているＣＰＵ１０１からの命令等により実現され、人物の位置や顔位置から足位置を算出する。
【００７５】
画像合成部２１は、図３に示されているＣＰＵ１０１からの命令等により実現され、画像データに足位置を表す足マークを配置する。
【００７６】
記憶・読出部１９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする処理を行う。なお、以下ではサーバ１０が記憶部１０００にアクセスする場合でも「記憶・読出部１９を介して読み書きする」という記載を省略する場合がある。表示装置３０，全天球画像撮像装置６０及び加速度測定装置５０についても同様である。
【００７７】
<<表示装置３０の各機能構成>>
表示装置３０は、通信部３１、表示制御部３２、操作入力受付部３３、画像回転部３４、動体検出部３５、及び、記憶・読出部３９を有している。
【００７８】
表示装置３０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された端末プログラム３０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能される手段である。なお、端末プログラム３０１０に限られずサーバ１０が送信するＷｅｂページ（ＨＴＭＬデータ、ＸＭＬデータ、及び、JavaScript（登録商標）などで記述されたプログラム）によって実現される機能、又は機能される手段も含まれる。
【００７９】
また、表示装置３０は、図３に示されているＨＤ１０４、ＲＯＭ１０２及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部３０００を有している。記憶部３０００には、端末プログラム３０１０が記憶されている。また、記憶部３０００にはサーバ１０から送信された測定データと画像データが記憶される。
【００８０】
（表示装置３０の機能）
表示装置３０の通信部３１は、図３に示されているＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ１０９等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００８１】
表示制御部３２は、図３に示されているＣＰＵ１０１からの命令等によって実現され、サーバ１０から送信された画像データと測定データをディスプレイ１０８に表示する。
【００８２】
操作入力受付部３３は、図３に示されているＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。
【００８３】
動体検出部３５は、図３に示されているＣＰＵ１０１からの命令等によって実現され、全天球画像から動体を検出する。この動体は主に歩行者である。歩行者が検出されるので、画像回転部３４が歩行者を含む画像をトリミングすることができる。なお、サーバの人物検出部１６が検出した人物の位置を利用してもよい。
【００８４】
画像回転部３４は、図３に示されているＣＰＵ１０１からの命令等によって実現され、歩行者が写っている領域がディスプレイ１０８に表示されるように全天球画像である画像データから表示範囲をトリミングする。
【００８５】
記憶・読出部３９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出したりする処理を行う。
【００８６】
<<加速度測定装置５０の各機能構成>>
加速度測定装置５０は、通信部５１、加速度検出部５２、及び、記憶・読出部５９を有している。加速度測定装置５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、フラッシュメモリ２０４からＲＡＭ２０３上に展開された装置プログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能、又は機能される手段である。
【００８７】
また、加速度測定装置５０は、図４に示されているフラッシュメモリ２０４、ＲＯＭ２０２及びＲＡＭ２０３のいずれか１つ以上によって構築される記憶部５０００を有している。記憶部５０００には、装置プログラム５０１０が記憶されている。記憶部５０００には加速度測定装置５０が測定した加速度などの測定データが記憶される。
【００８８】
（加速度測定装置５０の機能）
加速度測定装置５０の通信部５１は、図４に示されているＣＰＵ２０１からの命令、及び通信装置２１３等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００８９】
加速度検出部５２は、図４に示されているＣＰＵ２０１からの命令、及び加速度・方位センサ２０６等によって実現され、加速度測定装置５０に生じる加速度を測定する。加速度は一定間隔又は不定期に測定され、時間と共に変化する加速度が得られる。時系列の加速度が含まれる測定データは記憶部５０００に記憶される。
【００９０】
記憶・読出部５９は、図４に示されているＣＰＵ２０１からの命令、フラッシュメモリ２０４、ＲＯＭ２０２、及びＲＡＭ２０３等により実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりする処理を行う。
【００９１】
<<全天球画像撮像装置６０の各機能構成>>
全天球画像撮像装置６０は、通信部６１、撮像部６２、及び、記憶・読出部６９を有している。全天球画像撮像装置６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ３１２からＳＲＡＭ３１３又はＤＲＡＭ３１４に展開された撮像プログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能、又は機能される手段である。
【００９２】
また、全天球画像撮像装置６０は、図５に示されているＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって構築される記憶部６０００を有している。記憶部６０００には、全天球画像の画像データや撮像プログラム６０１０が記憶されている。
【００９３】
（全天球画像撮像装置６０の機能）
全天球画像撮像装置６０の通信部６１は、図５に示されているＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ３１６等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
【００９４】
撮像部６２は、図５に示されているＣＰＵ１０１からの命令、撮像ユニット３０１及び画像処理ユニット３０４等によって実現され、全天球画像を撮像し画像データを生成する。全天球画像は静止画でも動画でもよい。いずれの場合も、撮像部６２は歩行している歩行者を時間の経過にしたがって撮像する。動画の場合、全天球画像は一定間隔又は不定期に撮像される。静止画の場合は、歩行者が歩行している間に時間の間隔を置いて複数の全天球画像が撮像される。時系列の全天球画像が含まれる画像データは記憶部６０００に記憶される。
【００９５】
記憶・読出部６９は、図５に示されているＣＰＵ２０１からの命令、ＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって実現され、記憶部６０００に各種データを記憶したり、記憶部６０００に記憶された各種データを読み出したりする処理を行う。
【００９６】
＜歩行者の歩行について＞
図７（ａ）を用いて、全天球画像撮像装置６０の周囲を歩行者がどのように歩行するかを説明する。図７（ａ）は、全天球画像撮像装置６０の周囲を歩行する歩行者２００を模式的に説明する図の一例である。歩行者２００は加速度測定装置５０を腰などに装着している。加速度測定装置５０が装着される場所は歩行者２００の重心に近い場所であることが好ましい。腰の他、胸、背中、胴部などに装着されてもよい。また、加速度測定装置５０は複数台、装着されていてもよい。
【００９７】
歩行者２００は全天球画像撮像装置６０の周囲を方向を変えながら旋回するようにして歩行する。複数の歩行者間の歩行動作の比較を容易にするため、又は、歩行者２００が歩行する経路を認識できるように、歩行面に円形状のラインＬが形成されていてもよい。また、ラインＬには等間隔に連続する番号などが付されたマーカが配置されていてもよい。指導者等が画像データを確認する際に、全天球画像撮像装置６０に対する歩行者２００の位置を容易に把握できる。
【００９８】
歩行者２００はラインＬで示される円の接線方向に正面（胸）を向けて前方に移動する。これにより、全天球画像撮像装置６０の周囲を旋回するように歩行する。歩行者２００が歩行している間、加速度測定装置５０は加速度を測定している。歩行者２００と加速度測定装置５０の相対位置は固定されているものとし、歩行者２００の進行方向（前方）をｘ方向、左右方向をｙ方向、垂直方向をｚ方向とする。
【００９９】
なお、歩行者２００は円形状のラインＬの全体を歩行しなければならないわけではなく歩行動作の評価に適切な距離以上、歩行すればよい。また、歩行者２００は円形状のラインＬを１周より多く歩行してもよい。
【０１００】
歩行者２００が歩行するラインＬは三角形、四角形などの多角形でもよい。また、歩行者２００が歩行するラインＬは８の字（8-shaped loop）、又は、無限大（インフィニティの形状）などでもよく、図７に示したものには限られない。ラインＬは歩行動作を評価するために好ましい形状であればよい。
【０１０１】
＜動作手順＞
続いて、図８を用いて、画像表示システム１００の動作手順について説明する。図８は画像表示システム１００の全体的な動作を説明するシーケンス図の一例である。図８では、サーバ１０が加速度測定装置５０と全天球画像撮像装置６０に対してそれぞれ測定開始、撮像開始の指示を行う場合のシーケンス図である。
【０１０２】
S1：歩行動作の測定を始める際、指導者等は歩行動作の測定を開始する操作をサーバ１０に入力する。サーバ１０の操作入力受付部１４は指導者等の操作を受け付ける。
【０１０３】
S2：サーバ１０の通信部１１は測定開始要求を加速度測定装置５０に送信する。
【０１０４】
S3：加速度測定装置５０の通信部５１は測定開始要求を受信する。測定開始要求を取得することで、加速度測定装置５０は音声出力部２１２からブザー音などを出力する。これにより、歩行者は歩行を開始してよいことを把握できる。なお、「歩行を開始してください」などの音声メッセージ、バイブレーション機能による振動、ディスプレイ２１５へのメッセージの表示、ディスプレイ２１５の明滅などにより、歩行者に歩行開始を報知してもよい。
【０１０５】
S4：サーバ１０の通信部１１は撮像開始要求を全天球画像撮像装置６０に送信する。
【０１０６】
S5：全天球画像撮像装置６０の通信部６１は撮像開始要求を受信する。撮像開始要求の取得により、全天球画像撮像装置６０は音声出力部３１９からブザー音などを出力する。これにより、歩行者は歩行を開始してよいことを把握できる。この他の通知態様はステップＳ３と同様である。また、全天球画像撮像装置６０は歩行者の視野に入る場合があるので、全天球画像撮像装置６０がパトランプなどを点灯させてもよい。これにより、歩行者だけでなく周囲の指導者等も歩行者が歩行を開始してよいことを把握できる。なお、ステップＳ３とＳ５のブザーによる通知はどちらか一方があればよい。
【０１０７】
S6、S7：測定開始要求により加速度測定装置５０の加速度検出部５２は加速度の測定を開始する。撮像開始要求により全天球画像撮像装置６０の撮像部６２は撮像を開始する。加速度測定装置５０の加速度検出部５２は歩行者が歩行している間に生じる加速度を測定し、全天球画像撮像装置６０の撮像部６２は、歩行する歩行者を撮像する。このようにサーバ１０からの指示により、測定データの測定開始と画像データの撮像開始をほぼ同時に同期させることができる。なお、ステップＳ２〜Ｓ７の順序は順不同である。サーバ１０は、同時期に測定データの測定開始と画像データの撮像開始を加速度測定装置５０と全天球画像撮像装置６０に送信すればよい。
【０１０８】
S8：歩行者が十分に歩行したと指導者等が判断すると、指導者等は歩行動作の測定を終了する操作をサーバ１０に入力する。サーバ１０の操作入力受付部１４は指導者等の操作を受け付ける。
【０１０９】
S9：サーバ１０の通信部１１は測定終了要求を加速度測定装置５０に送信する。加速度測定装置５０の通信部１１は測定終了要求を受信し、加速度検出部５２は加速度の測定を終了する。なお、ステップS3のように終了の旨を歩行者などに通知してもよい。
【０１１０】
S10：サーバ１０の通信部１１は撮像終了要求を全天球画像撮像装置６０に送信する。全天球画像撮像装置６０の通信部６１は撮像終了要求を受信し、撮像部６２が全天球画像の撮像を終了する。なお、ステップS5のように終了の旨を歩行者などに通知してもよい。ステップＳ９、Ｓ１０の順序は順不同である。サーバ１０は、同時期に測定データの測定終了と画像データの撮像終了を加速度測定装置５０と全天球画像撮像装置６０に送信すればよい。
【０１１１】
このようにサーバ１０からの指示により、測定データの測定終了と画像データの撮像終了をほぼ同時に同期させることができる。
【０１１２】
S11：加速度測定装置５０の通信部５１は記憶部５０００に記憶しておいた測定データをサーバ１０に送信する。
【０１１３】
S12：全天球画像撮像装置６０の通信部６１は記憶部６０００に記憶しておいた画像データをサーバ１０に送信する。
【０１１４】
S13：サーバ１０の通信部１１は測定データと画像データを受信して、測定データＤＢ１００１と画像データＤＢ１００２にそれぞれ記憶させる。そして、サーバ１０の加速度データ加工部１３は離散データである加速度データを折線グラフなどに加工する。なお、このような加工は表示装置３０が行ってもよい。
【０１１５】
S14：次に、サーバ１０の画像調整部１２は、測定データと画像データの時間軸を同期させる処理を行う。測定データと画像データはほぼ同じ時間で取得されているが、測定データのデータ数と画像データのデータ数（フレーム数）は異なっている場合が多い。このため、画像調整部１２は測定データと画像データを対応付けることで時間軸を同期させる。測定開始時刻と撮像開始時刻がほぼ同じで測定終了時刻と撮像終了時刻がほぼ同じなので、測定データと画像データのデータ数の比率で時間軸を同期させることができる。例えば、測定データのデータ数が４００、画像データのデータ数が２００であれば、画像データの２フレームを測定データの１つの加速度に対応付ける。あるいは、測定時間に対する各測定データ（加速度）の測定時刻の比を算出し、撮像時間に対する各画像データ（フレーム）の撮像時刻の比を算出し、比が最も近いフレームと加速度を対応付けてもよい。あるいは、測定開始からの経過時間と撮像開始からの経過時間がほぼ同じ測定データと画像データを対応付けてもよい。
【０１１６】
更に、測定開始時刻、測定終了時刻、撮像開始時刻及び撮像終了時刻の絶対時刻が得られる場合は、測定開始時刻から測定終了時刻と、撮像開始時刻から撮像終了時刻の重複部分を取り出し、重複部分の測定データと画像データを同様の比率計算などにより対応付ける。
【０１１７】
S15：次に、人物検出部１６は人物を検出し、検出された人物の位置に基づいて顔を検出する。また、足位置算出部１８が足位置を算出する。詳細は図１１にて説明される。
【０１１８】
S16：次に、画像合成部２１は画像データに足マーク９１を配置する。詳細は図１２にて説明される。
【０１１９】
S17,S18：サーバ１０は測定データと画像データを表示装置３０に送信する。具体的には、指導者等は表示装置３０などを介してサーバ１０に対し測定データと画像データを要求する。あるいは、指導者等はサーバ１０に対し測定データと画像データを要求する操作を行い、サーバ１０の操作入力受付部１４がこの操作を受け付けてもよい。あるいは、表示装置３０がポーリングなどにより測定データと画像データの有無を問い合わせ、サーバ１０に測定データと画像データが送信されると、サーバ１０が問い合わせに対し測定データと画像データを表示装置３０に送信してもよい。
【０１２０】
S19：表示装置３０の通信部３１は測定データと画像データを受信し、表示制御部３２がディスプレイ１０８に測定データと画像データを同じ時間軸で表示する。画像データの表示例を図１３以下に示す。
【０１２１】
なお、測定開始の契機を表示装置３０がサーバ１０に指示して、サーバ１０が加速度測定装置５０と全天球画像撮像装置６０にそれぞれ指示してもよい。また、歩行者が移動を開始したことを加速度測定装置５０が検出して測定を開始すると共にサーバ１０に通知し、サーバ１０が全天球画像撮像装置６０に通知してもよい。あるいは、サーバ１０が撮像開始時刻を加速度測定装置５０と全天球画像撮像装置６０にそれぞれ通知してもよい。
【０１２２】
＜足位置の算出＞
図９は、人物の頭部と足位置を説明する図の一例である。図９に示されているように、顔を含む頭部の画像は矩形状に検知され、矩形の中心が人物の頭部の位置（ｘ１１，ｙ１１）を示す。なお、図９では、足位置は、（ｘ２１，ｙ２１）で示され、表１に示されている人物管理テーブルの足位置として管理される。
【０１２３】
図１０は、サーバが人物の足位置を特定する処理を示したフローチャート図の一例である。図１０の処理は、例えば図８のステップＳ１５で実行される。
【０１２４】
まず、記憶・読出部５９は、記憶部５０００から、人物の顔を検出するための画像データを読み出す（Ｓ１１）。
【０１２５】
そして、人物検出部１６は、画像データに添付されている関連情報から天頂方向を検出する（Ｓ１２）。天頂方向とは全天球の中心を通り垂直方向上向きの方向である。
【０１２６】
顔検出部１７は、画像データにおいて、任意の人物の顔を含む頭部を検出する（Ｓ１３）。顔の検出は、ＳＶＭ(Support Vector Machine)、ニューラルネット、ディープラーニング等で機械学習されたパターンを用いたパターン認識により行なわれる。
【０１２７】
顔検出部１７は、検知部５３によって、任意の人物の頭部が検知されたか否かを判断する（Ｓ１４）。
【０１２８】
そして、頭部が検知された場合には（ステップＳ１４のＹｅｓ）、足位置算出部１８は、検知された頭部の大きさ（後述の「２Ｒ」）を算出する（Ｓ１５）。
【０１２９】
次に、足位置算出部１８は、算出した頭部の大きさと、予め定められた平均的な人物の身体の大きさに基づき、頭部の中心と足との距離（後述の「ｈ」）を算出する（Ｓ１６）。更に、算出部５５は、頭部の中心の位置から、頭部の中心と足との距離（ｈ）ほど離れた位置を、撮像画像データにおける足位置として算出する(Ｓ１７)。
【０１３０】
次に、記憶・読出部５９は、人物画像管理テーブルに対して、撮像画像ＩＤ、画像データのファイル名、撮像画像の撮像日時情報、顔ＩＤ、及び足位置を含む人物画像情報を記憶して管理する（Ｓ１８）。
【０１３１】
次に、上記ステップＳ１３に戻り、顔検出部１７は、最初に検知の処理を行なった画像データと同一の画像データにおいて、他の人物の顔を検出する。これにより、全ての人物の顔が検知されるまで、ステップＳ１３〜Ｓ１８の処理が繰り返される。
【０１３２】
そして、上記ステップＳ１４において、顔が検知されない場合には（Ｓ１４のＮｏ）、全ての人物の顔が検知されたものとして、人物の足位置を特定する処理が終了する。
【０１３３】
図１１は、足位置の算出を説明するための図の一例である。図１１では、人物９００と全天球画像撮像装置６０との間の床２０００に障害物２００１があり、人物９００の足９０４の付近は撮像されない状態になっている。この場合であっても、サーバ１０は、現在、検知技術が高いレベルになっている顔検出（認識）技術を利用して、人物９００の頭部（顔）を検知し、頭部の位置から人物９００の足位置を特定するため、障害物２００１があっても、足位置を特定することができる。なお、障害物２００１がない場合であっても、顔に比べて足の検知（認識）技術は精度が高くないため、顔検出（認識）技術を利用する。
【０１３４】
以下、更に詳細に説明する。全天球画像撮像装置の撮像素子３０３ａ（３０３ｂ）を円の中心として、撮像素子３０３ａ（３０３ｂ）からの水平線と、撮像素子３０３ａ（３０３ｂ）から人物９００の頭部（顔）の中心を通る仮想線との間の角度を「α」としている。また、全天球画像撮像装置の撮像素子３０３ａ（３０３ｂ）を円の中心として、撮像素子３０３ａ（３０３ｂ）から人物９００の頭部の上端を通る仮想線と、撮像素子３０３ａ（３０３ｂ）から人物９００の頭部の下端を通る仮想線との間の角度を「β」としている。本実施形態のサーバ１０は、撮像素子３０３ａ（３０３ｂ）からの水平線と、撮像素子３０３ａ（３０３ｂ）から人物９００の足９０４を通る仮想線との間の角度「δ」を求めることで、足９０４の位置を特定する。
【０１３５】
また、全天球画像撮像装置が、人物９００及び障害物２００１を撮像した場合、球の内側に表わされる全天球画像は、頭部（顔）９０１の画像である頭部（顔）画像９１１、上肢９０２の上部の画像である上肢画像９１２、及び障害物２００１の画像である障害物画像２０１１を表わすことになる。よって、図１１に示されている状況下では、全天球画像撮像装置６０は、上肢９０２の下部、及び下肢９０３（足９０４を含む）を撮像することができない。
【０１３６】
なお、この場合、頭部は球体に近似されている。頭部の縦幅を示す角度βは、顔検出（認識）技術を使用することで、実測値として算出することができる。また、本実施形態では、実世界での大きさ及び長さではなく、画像内での相対的な大きさ及び長さに意味がある。そのため、足９０４の位置の特定に際しては、人物９００の頭部９０１と撮像素子３０３ａ（３０３ｂ）との距離は１（単位円）で算出される。
【０１３７】
そして、一般的な人間の体型（頭：身長＝１：ｎ，日本人であれば7.3が平均となる）を考慮すると、δは、（式１）のように表わすことができる。
【０１３８】
【数１】
2017225722.tif 000004
＜足マーク９１の配置＞
以上のように、水平方向からの顔の中心までの角度β/２、及び、水平方向から足位置までの角度δが算出されたので、画像合成部２１は足位置に足マーク９１を配置できる。なお、β/２とδはいずれも緯度方向の角度であるが、顔位置が検出されているので経度方向の足位置も既知である。
【０１３９】
図１２は、画像データへの足マーク９１の配置を模式的に説明する図の一例である。なお、図１２の説明では主に図１１との相違を説明する。画像合成部２１は、δで特定される画像データ上の位置に足マーク９１を配置する。図１２では下肢画像９１３が表示されているが、δで特定される足位置はこの下肢画像９１３の下端なので、下肢画像９１３の下端に足マーク９１が表示される。なお、配置することを、描画、重畳、埋め込みなどと表現してもよい。また、画像データに直接、配置するのでなく透明なレイヤを用意してレイヤに足マーク９１を配置してもよい。この場合、足マーク９１の表示と非表示を指導者等が切り替えることができる。
【０１４０】
例えば、δを中心とする円を足マーク９１とする。あるいは、人間の足の形は経度方向に長いので経度方向に長軸を有する楕円を足マーク９１とする。この他、足マーク９１の形状は足の形状を模したもの、四角形、多角形、不定形などでもよい。また、色は赤、黄などの注意喚起色、視認性がよい蛍光色などでよい。また、半透明の処理を施してよい。指導者等が色等を指定できてもよい。
【０１４１】
なお、画像合成部２１は、足マーク９１を配置する画像データのフレームよりも前の（過去の）フレームに配置した全ての足マーク９１を足マーク９１を配置する画像データに配置する。具体的には、
(i) １番目のフレームに１番目のフレームの足位置の足マーク９１を配置する。
(ii) ２番目のフレームに１番目と２番目のフレームの足位置の足マーク９１を配置する。
(iii) ３番目のフレームに１〜３番目のフレームの足位置の足マーク９１を配置する。
【０１４２】
すなわち、ｎ番目のフレームに１〜ｎ番目のフレームの足位置の足マーク９１を配置することで、歩行者の軌跡を１つのフレームに表示可能になる。
【０１４３】
＜画像データと測定データの表示例＞
図１３を用いて、足マークを含む画像データと測定データの表示例について説明する。図１３は表示装置３０がディスプレイ１０８に表示した画像データと測定データの一例を示す。図１３のような画面をデータ表示画面５０１という。データ表示画面５０１は、主に画像データ欄５０２と測定データ欄５０３を有する。表示制御部３２は、画像データ欄５０２に画像データを表示し、測定データ欄５０３に測定データを表示する。表示制御部３２は、全天球画像の画像データから歩行者の撮像範囲を取り出して、画像データ欄５０２に表示する。画像データ欄５０２について説明する。図１３ではｘ方向、ｙ方向及びｚ方向それぞれの加速度が時系列に表示されている。ｘ方向、ｙ方向又はｚ方向のうち任意の１つ以上の方向の加速度を指導者等が表示させることができる。画像データが静止画の場合、指導者等がボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は時間的に次の画像データを画像データ欄５０２に表示する。同様にボタン操作により表示制御部３２は時間的に前の画像データを画像データ欄５０２に表示することができる。また、表示制御部３２は静止画である画像データを一定の時間間隔で次々に画像データ欄５０２に表示してもよい。
【０１４４】
画像データが動画の場合、指導者等がボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は撮像速度（フレーム数／ｓｅｃ）と同じ再生速度で画像データを動画として再生する。高速再生及び低速再生止なども可能である。指導者等が再度ボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は再生を停止させる。よって、指導者等は任意のタイミングの画像データを表示することができる。なお、画像データだけでなく、画像データと共に集音された音声を出力してもよい。
【０１４５】
画像データには足マーク９１が表示される。表示中の画像データ（１枚のフレーム）において、１つの足位置がδにより推定される。図１３では、過去のフレームの足位置も使用して、現在の足位置を示す足マーク９１と過去の足位置を示す足マーク９１が共に表示されている。これにより、指導者等は歩行者の軌跡を確認できる。
【０１４６】
測定データ欄５０３について説明する。画像データが静止画又は動画のどちらの場合でも、測定データは連続的に測定されている。あるいは、静止画の場合は、加速度測定装置５０と全天球画像撮像装置６０が同期を取って、静止画の全天球画像が撮像されるタイミングで加速度測定装置５０が加速度を取得してもよい。
【０１４７】
表示制御部３２は測定データの全てが測定データ欄５０３に表示しきれるように測定データを変倍して測定データ欄５０３に表示する。あるいは、所定時間分の測定データを測定データ欄５０３に表示し、一定時間ごとに切り替えてもよい。図１３のようにある程度の長さの測定データが測定データ欄５０３に表示されている場合、表示制御部３２は画像データ欄５０２に表示されている画像データに対応付けられている測定データを指し示すバー５０５を測定データ欄５０３に表示させる。例えば、測定データ欄５０３に全体又はある時間分の測定データが表示されており、動画の画像データが再生されている場合、表示制御部３２は表示中の画像データのフレームに対応付けられている測定データにバー５０５を重畳させる。したがって、時間と共に又は動画の再生が進むにつれて、バー５０５が測定データ欄５０３を右に移動する。逆に、指導者等がバー５０５を移動させると操作入力受付部３３が操作を受け付けて、移動後のバー５０５が指し示す測定データに対応付けられている画像データのフレームを表示制御部３２が画像データ欄５０２に表示させる。
【０１４８】
＜動作手順＞
図１４は、画像合成部２１が画像データに足マーク９１を配置する手順を示すフローチャート図の一例である。図１４の処理は図８のステップＳ１６で実行される。
【０１４９】
まず、画像合成部２１はフレーム番号としてｎに１設定する（Ｓ１０）。すなわち、ｎを初期化する。
【０１５０】
次に、記憶・読出部５９は、記憶部５０００から、ｎ以前のフレームの足位置を人物検出管理ＤＢ１００３から読み出す（Ｓ２０）。
【０１５１】
次に、画像合成部２１は、ｎ以前のフレームの全ての足位置に基づいて１〜ｎ番目のフレームに足マーク９１を配置する（Ｓ３０）。
【０１５２】
次に、画像合成部２１は最終フレームまで到達したか否かを判断する（Ｓ４０）。ステップＳ４０の判断がＮｏの場合、画像合成部２１はｎを１つ大きくする（Ｓ５０）。この後、処理はステップＳ２０に進み同様の処理が繰り返される。
【０１５３】
ステップＳ４０の判断がＹｅｓの場合、図１４の処理は終了する。このように、画像データに過去のフレームの足マーク９１が表示されることで、指導者等は軌跡を判断できる。
【０１５４】
＜理想ラインの表示＞
上記のように歩行面に円形状のラインＬが形成されている場合、画像データにもラインＬが撮像されているため、指導者等はラインＬと足マーク９１を比較して、足マーク９１がラインＬからどのくらい離れているかを把握できる。しかし、ラインＬが形成されていない場合、理想的なラインとの比較が困難になる。また、ラインＬが形成されていても障害物で隠れている場合も生じうる。そこで、画像データに理想ライン９２を描画することが有効となる場合がある。
【０１５５】
図１５は、理想ライン９２の描画を説明する図の一例である。理想ライン９２は歩行者が歩行するラインとして予め決まっている。歩行面に形成されていてもよい。理想ライン９２は円形であるものとする。全天球画像撮像装置６０からの距離は半径ｒとして既知であるか、指導者等が測定可能である。また、撮像素子３０３ａ（３０３ｂ）の歩行面から高さＺは既知であるか、指導者等が測定可能である。
【０１５６】
撮像素子３０３ａ（３０３ｂ）を通過する水平線と、撮像素子３０３ａ（３０３ｂ）から理想ライン９２を通る仮想線との間の角度「Ｇ」を求めることで、理想ライン９２の位置が決定される。例えば、ｔａｎＧ°＝Z/ｒなので、Ｇは以下のようになる。
【０１５７】
Ｇ＝arc tan(Z/r)
したがって、画像合成部２１は、経度方向の全周にわたって緯度方向の角度Ｇに点を配置することで理想ライン９２を描画できる。なお、点でなく緯度方向に厚みを持たせてもよい。また、理想ライン９２の色は好ましくは強調色であるが特に制限はなく、半透明などの処理が施されていてもよい。
【０１５８】
なお、理想ライン９２が円形でない場合、画像合成部２１は、ローカル座標系で設計された理想ライン９２を全天球画像撮像装置６０の座標系に座標変換すればよい。
【０１５９】
画像合成部２１は全てのフレームに理想ライン９２を描画する。こうすることで、画像データには理想ライン９２が表示された状態で足マーク９１が表示される。したがって、指導者等は理想ライン９２と足マーク９１の位置の違いを比較して歩行者の歩行動作を評価できる。
【０１６０】
図１６は、表示装置３０がディスプレイ１０８に表示した理想ライン９２を含む画像データの一例である。なお、図１６で主に図１３との相違を説明する。図１６に示すように、歩行者の足位置を示す足マーク９１と、旋回歩行をする上での理想的なラインである理想ライン９２を共に表示することで、指導者等は、旋回歩行時に歩行者が膨らみすぎていたかどうかなどを視覚的に判断することができる。
【０１６１】
また、本実施形態では、頭の位置から足位置を推定し、画像合成部２１が足マーク９１を配置するので、画像データの足が障害物に隠れていても、画像合成部２１が足マーク９１を配置できる。
【０１６２】
図１７は、障害物２００１で足が隠れている場合に足マーク９１と共に表示される画像データの一例である。図１７に示すように、障害物によって足が画像データに表示されていなかった場合でも、足位置算出部１８が足位置を推定し、画像合成部２１が画像データに足マーク９１を配置するので、指導者等が足位置を把握できる。
【０１６３】
図１８は、画像合成部２１が画像データに足マーク９１を配置する手順を示すフローチャート図の一例である。図１８の処理は図８のステップＳ１６で実行される。また、図１８では主に図１４との相違を説明する。
【０１６４】
図１８のステップＳ１０〜Ｓ３０は図１４と同様でよい。次のステップＳ３５では、画像合成部２１がｎ番目のフレームに理想ライン９２を描画する（Ｓ３５）。これにより、足位置に関係なく全てのフレームに理想ライン９２が描画される。図１８のステップＳ４０、Ｓ５０は図１４と同様でよい。
【０１６５】
＜仮想平面への表示＞
図１９に示すように、画像合成部２１は仮想的な二次元平面上に足マーク９１と理想ライン９２を表示してもよい。図１９は、平面的に表示された足マーク９１と理想ライン９２を示す図である。つまり、画像合成部２１は画像データを使用しないで二次元平面上に足マーク９１と理想ライン９２を描画してディスプレイ１０８に表示する。
【０１６６】
理想ライン９２の半径ｒは既知なので、画像合成部２１は所定の二次元平面に半径ｒの円を描画すればよい。足位置は足の経度（顔の水平方向の位置）と角度δにより推定されている。また、図１５に示したように、全天球画像撮像装置６０の歩行面からの高さはＺである。したがって、撮像装置１からの足位置の距離ｒ'は、
ｒ'＝Ｚ/tanＧ°
となる。
【０１６７】
したがって、画像合成部２１は、足位置が推定された経度方向に、円の中心からｒ'の位置に足マーク９１を表示すればよい。これにより指導者等は理想ライン９２に対して実際に歩いたルートを俯瞰して見ることができる。
【０１６８】
＜理想ラインからの足位置の乖離の評価＞
本実施形態では理想ライン９２に対し実際に歩行者が歩いた足位置を示す足マーク９１を表示できる。また、表示の過程で、各足位置の理想ライン９２からの足位置の乖離量を画像合成部２１などが算出できる。上記のｒ'と円の半径ｒを用いて「ｒ−ｒ'」が乖離量である。また、画像合成部２１は半径ｒに対する乖離率（ｒ−ｒ'）/ｒを算出することもできる。なお、説明の便宜上、乖離量は絶対値であるして説明するが、正負を考慮することで理想ライン９２の内側又は外側への乖離量を検出できる。
【０１６９】
【表２】
2017225722.tif 000005
表２は、理想ラインからの足位置の乖離に関する乖離情報を示す。表２には一例として、理想ライン９２からの乖離平均、乖離のピーク値、標準偏差以上に乖離した回数、転倒リスクをテーブル状に示されている。
乖離平均：各足位置の乖離率の合計/足位置の数
乖離ピーク量：乖離率の最大値
標準偏差以上に乖離した回数：乖離率が乖離率の標準偏差を超えた回数
転倒リスク：例えば乖離平均、乖離のピーク値、標準偏差以上に乖離した回数をそれぞれ点数に置き換え、点数の合計が属するグループ（例えばＡ〜Ｅの五段階）で判断されたグループ。
【０１７０】
表示装置３０は表２の情報を取得してディスプレイ１０８に表示する。これらにより、指導者等は歩行による転倒のリスクを総合的に判断しやすくなる。
【０１７１】
なお、表２にｒ'そのものを表示したり、乖離量を表示したりしてもよい。また、乖離量を正負の符号付きで算出して合計し、合計値の正負により内側と外側のどちらに乖離しやすいかを評価してもよい。
【０１７２】
図２０は、画像合成部２１が乖離平均等を算出する手順を示すフローチャート図の一例である。図２０の処理は図８のステップＳ１６で実行される。また、図２０では主に図１８との相違を説明する。
【０１７３】
図２０のステップＳ１０〜Ｓ５０は図１８と同様でよい。ステップＳ６０では、画像合成部２１は各フレームで算出された足位置を用いてｒ'を算出し、理想ライン９２からの乖離平均、乖離のピーク値、標準偏差以上に乖離した回数、転倒リスクを算出する（Ｓ６０）。
【０１７４】
以上説明したように、本実施形態の画像表示システム１００では、画像データに足マーク９１が表示されるので、指導者等は歩行者が歩いた軌跡を画像データで確認できる。また、理想ライン９２が表示されるので、指導者等は理想ライン９２と足マーク９１の位置の違いを比較して歩行者の歩行動作を評価できる。
【実施例２】
【０１７５】
実施例１では歩行者の頭から足位置を推定したが、本実施例では画像データを足から直接、検出する画像表示システム１００について説明する。障害物２００１があると足を検出しにくくなる反面、歩行者の両足の位置を特定できる。
【０１７６】
＜機能構成＞
図２１は、本実施例のサーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能ブロック図の一例である。なお、図２１と図６において同一の符号を付した構成要素は同様の機能を果たすので、図２１では主に本実施例の主要な構成要素についてのみ説明する場合がある。
【０１７７】
図２１では表示装置３０が歩行軌跡判断部３６を有している。歩行軌跡判断部３６は、図３に示されているＣＰＵ１０１からの命令等によって実現され、サーバ１０から送信された画像データから歩行者の足位置を検出又は特定する。また、本実施例では、表示装置３０が人物検出管理ＤＢ１００３を有している。
【０１７８】
＜動作手順＞
図２２を用いて、画像表示システム１００の動作手順について説明する。図２２は画像表示システム１００の全体的な動作を説明するシーケンス図の一例である。なお、図２２の説明では主に図８との相違を説明する。ステップＳ１〜Ｓ１４は図８と同様であり、本実施例ではサーバ１０が行うステップＳ１５，Ｓ１６がない。代わりにステップＳ１８−２を有する。
S18-2：表示装置３０の歩行軌跡判断部３６は画像データから足位置を検出する。詳細は、「足位置の検出１」「足位置の検出２」で後述される。
【０１７９】
＜足位置の検出  １＞
図２３は、差分画像の求め方を説明する図の一例である。図２３（ａ）に示すように、本実施例では歩行者が撮像されていないフレームが利用される。以下、このフレームを「規準フレーム９５」と称する。サーバ１０が表示装置３０に送信する画像データには規準フレーム９５が含まれているか、又は、表示装置３０が規準フレーム９５を予め有しているものとする。
【０１８０】
図２３（ａ）の規準フレーム９５は天頂方向から垂直方向下を視線方向とする全天球画像の一部であるため、歩行面が規準フレーム９５の中央に表示されている。また、全天球画像なので、歩行面を囲む壁も丸く表示される。
【０１８１】
歩行軌跡判断部３６は規準フレーム９５と画像データの各フレームとの画素値の差分を算出する。図２３（ｂ）は差分画像９６を示す。各差分画像９６を区別するため、符号９６を差分画像９６−ｉで示す（ｉは自然数）。図２３（ａ）のフレーム１と規準フレーム９５との差分画像９６が図２３（ｂ）の差分画像９６−１であり、図２３（ａ）のフレーム２と規準フレーム９５との差分画像９６が図２３（ｂ）の差分画像９６−２であり、図２３（ａ）のフレーム３と規準フレーム９５との差分画像９６が図２３（ｂ）の差分画像９６−３であり、図２３（ａ）のフレーム４と規準フレーム９５との差分画像９６が図２３（ｂ）の差分画像９６−４であり、図２３（ａ）のフレーム５と規準フレーム９５との差分画像９６が図２３（ｂ）の差分画像９６−５である。
【０１８２】
図２３（ａ）と（ｂ）を比較すると分かるように、フレーム１〜５の足が写っている部分９７が、差分画像９６では白画素９８で表示されている。差分画像９６では、変化がない領域の画素値が０になる。画素値０は黒画素で表される。また、歩行者が映っている画素では、差分により画素値がゼロにならない。歩行軌跡判断部３６は、閾値より大きい画素値の画素に２５５の画素値を設定する二値化処理を行う。これにより、図２３（ｂ）に示すように、歩行者が映っている画素だけが白画素９８になる差分画像９６が得られる。なお、白黒は反転してもよい。
【０１８３】
図２４は、差分画像９６から足位置の検出方法を説明する図の一例である。白画素９８のうち歩行者の足位置は、最も低い緯度の白画素である。したがって、歩行軌跡判断部３６は白画素を有する画素のうち、最も緯度が小さい画素の経度と緯度（角度Ｇ）を検出する。差分画像９６から足位置を特定する処理をフレームごとに行うことで、各フレームの足位置を検出できる。なお、本実施例では、図２４のように足位置を検出することで右足又は左足のいずれも検出できる。
【０１８４】
足位置が検出されたので、表示装置３０の表示制御部３２は、実施例１の図１３のように画像データに足マーク９１を配置して表示することができる。
【０１８５】
＜差分画像を用いた足位置の検出＞
更に、歩行軌跡判断部３６は、フレームごとに作成された差分画像を用いて、指導者等が歩行動作を評価するために好適な足位置軌跡画像（動体軌跡画像）を作成できる。
【０１８６】
図２５は足位置軌跡画像の作成方法を説明する図である。図２５（ａ）の上側の２つの画像は撮像時刻が異なる２つのフレームと規準フレーム９５から作成された２つの差分画像９６を示す。この２つの差分画像９６に対し、歩行軌跡判断部３６は画素ごとにＯＲ処理を施す。ＯＲ処理は論理和ともいい、２つの画素のどちらかが白画素なら該画素に白画素を設定する処理である。足位置軌跡画像ではＯＲ処理により歩行者が撮像された領域が白画素になる。したがって、足位置軌跡画像は論理和で黒く残った領域を示す論理和画像と称してもよい。
【０１８７】
歩行者は全天球画像撮像装置６０の周囲を１周するので、水平方向３６０°の全域で歩行者の身長が占める緯度範囲は白画素になる。したがって、歩行面と天頂部だけに黒画素が残る。図２５（ａ）の点線に示すように足位置の付近の画像を取り出すと、足が一度も撮像されていない領域が黒く残る。天頂部の黒画素は足位置とは関係ないので指導者等は無視できる。
【０１８８】
図２５（ｂ）は、歩行者が全天球画像撮像装置６０の周囲を１周した場合に得られる足位置軌跡画像のうち歩行面を示す。図２５（ｂ）に示すように、歩行者が歩行した足位置の軌跡が黒く残っている。この足位置軌跡画像の外縁は足の形状で凹凸が生じるが、円形に近い。また、円形に近いほど歩行動作が安定していることが分かる。
【０１８９】
表示装置３０は、画像データと共に又は単独で足位置軌跡画像をディスプレイ１０８に表示する。指導者等は足位置軌跡画像を見て歩行動作を評価できる。また、図２５（ｃ）に示すように、歩行軌跡判断部３６は理想ライン９２を描画してよい。これにより、表２と同様の数値的な解析が可能になる。なお、足位置軌跡画像では足位置の数が不明なので、中心Ｏを軸とする所定角度ごとに足位置軌跡画像を区切って足位置を代用する。したがって、表２と同様の数値的な解析が可能になる。
【０１９０】
＜表示装置の動作＞
図２６は、表示装置が差分画像等を表示する手順を示すフローチャート図の一例である。図２６の処理は図２２のステップＳ１８−２にて実行される。
【０１９１】
歩行軌跡判断部３６は、画像データの各フレームと規準フレーム９５を用いて各フレームの差分画像を作成する（Ｓ１０）。
【０１９２】
次に、各差分画像から足位置を検出する（Ｓ２０）。
【０１９３】
次に、歩行軌跡判断部３６は、全ての差分画像にＯＲ処理を施し足位置軌跡画像を作成する（Ｓ３０）。
【０１９４】
足位置が検出されたので、表示制御部３２は画像データをディスプレイ１０８に表示する（Ｓ４０）。すなわち、足マーク９１を画像データの各フレームに配置して、画像データと共に表示する。なお、表示する手順は図１４等で説明した。
【０１９５】
以上のように、本実施例の画像表示システム１００は、差分画像を利用することで足位置を直接検出できる。歩行者の両足の位置を特定して歩行者と共に表示できる。なお、本実施例においても画像データに理想ライン９２を表示してよいし、理想ライン９２との平均乖離などを算出してよい。
【０１９６】
＜足位置の検出  ２＞
次に、差分画像を用いた足位置の別の検出方法を説明する。歩行者の足は定期的に歩行面に接地する。接地の際、歩行者の足はある程度の時間（以下、所定時間という）静止する。これは、両足の一方は常に設置しているため、例えば左足に着目すると、左足が接地してから右足が接地するまで、左足は継続して接地しているためである。また、接地の際、歩行者の足は下部ほど長い時間静止する。これは、接地した足裏を起点に歩行者が歩行するためである。
【０１９７】
したがって、所定時間の差分画像９６に対しＯＲ処理を施せば、静止している所定部（例えば、くるぶし以下などであり足部分という）のみを検出しやすくなる。
【０１９８】
図２７は、差分画像を用いた足位置の推定方法を説明する図の一例である。図２７（ａ）は規準フレーム９５を示し、図２７（ｂ）は歩行者が撮像された任意のフレームを示す。図２７（ｃ）は規準フレーム９５と任意のフレームの差分画像９６を示す。
【０１９９】
図２７（ｄ）は任意のフレームに対し、図２７（ｃ）の差分画像の輪郭線９９を点線で示すフレームである。また、図２７（ｅ）は図２７（ｄ）のフレームの１つ前のフレームであり、図２７（ｆ）は図２７（ｄ）のフレームの１つ後のフレームである。したがって、図２７（ｅ）、図２７（ｄ）、図２７（ｆ）の順にフレームが変化している。図２７（ｅ）（ｆ）には図２７（ｄ）と同じ輪郭線９９が表示されている。輪郭線９９と撮像された図２７（ｅ）（ｆ）で撮像されている足部分を比較すると分かるように、足の下部ほど画像の変化が少ない。したがって、所定時間のフレームから作成された差分画像９６に対しＯＲ処理が施されると、足の下部だけが白画素になる論理和画像が得られる。
【０２００】
具体的には、歩行者の足は０．２秒くらいの間、停止していることが実験的に分かるので、歩行軌跡判断部３６は０．２秒間のフレームの差分画像９６を使用する。この所定時間（０．２秒）は歩行速度などにより変わりうる。０．２秒間にｍ枚のフレームがあるとする。歩行軌跡判断部３６は規準フレーム９５とｍ枚のフレームとの差分画像９６をそれぞれ作成する。そして、ｍ枚の差分画像９６にＯＲ処理を施す。これにより、０．２秒間のフレームについて足の下部が白画素９８になった論理和画像が得られる。
【０２０１】
図２７（ｇ）は０．２秒間のフレームから得られた足の下部の論理和画像を示す図の一例である。したがって、歩行軌跡判断部３６は０．２秒ごとに足位置を算出できる。なお、足位置の算出には影響しないが、歩行軌跡判断部３６は足部分のみを取り出してもよい。足部分とは例えば足裏からくるぶし程度の一定量をいう。この場合、足裏から一定量以上、上部については黒画素に置き換える。これにより、足部分だけを取り出すことができる。
【０２０２】
画像データの全てのフレームの差分画像９６に対し０．２秒ごとにＯＲ処理を施すことで、図２７（ｇ）のような論理和画像が０．２秒ごとに得られる。したがって、これらの論理和画像から足位置軌跡画像が得られる。図２８は、足位置軌跡画像の一例を示す。０．２秒ごとの論理和画像に更にＯＲ処理を施すことで、図２８（ａ）のような足位置軌跡画像が作成される。足位置軌跡画像は、足部分の白画素が円形状に離散的に配置された画像となる。
【０２０３】
また、図２８（ｂ）に示すように、歩行軌跡判断部３６は理想ライン９２を描画することが有効である。これにより表２のような解析が可能になる。
【０２０４】
指導者等は、足位置軌跡画像が円形に近いかどうかなどにより、歩行動作を評価できる。また、歩行軌跡判断部３６は、足位置軌跡画像の縦横比、重心から外縁までの長さの偏差を値として出力してもよい。
【０２０５】
＜表示装置の動作＞
図２９は、表示装置３０が差分画像等を表示する手順を示すフローチャート図の一例である。図２９の処理は図２２のステップＳ１８−２にて実行される。
【０２０６】
歩行軌跡判断部３６は、画像データと規準フレーム９５を用いて各フレームの差分画像を作成する（Ｓ１０）。
【０２０７】
次に、歩行軌跡判断部３６は、所定秒間の差分画像にＯＲ処理を施す（Ｓ２０）。なお、初手時間はたとえば０．２秒である。
【０２０８】
歩行軌跡判断部３６はＯＲ処理後の差分画像から足位置を算出する（Ｓ３０）。
【０２０９】
歩行軌跡判断部３６は最終フレームかどうかを判断する（Ｓ４０）。最終フレームでない場合（Ｓ３０のＮｏ）、歩行軌跡判断部３６は次の所定時間を設定する（Ｓ５０）。例えば、ステップＳ２０でＯＲ処理を施したフレームの撮像時刻に０．２秒を加える。なお、加える時間は０．２秒でなくてもよく、この時間で足部分の画像の数を調整できる。このように、最終フレームになるまで、所定時間ごとの差分画像が得られる。
【０２１０】
最終フレームまで終了すると（Ｓ４０のＹｅｓ）、歩行軌跡判断部３６は所定時間の差分画像にＯＲ処理を施し足位置軌跡画像を作成する（Ｓ６０）。
【０２１１】
足位置が検出されたので、表示制御部３２は画像データをディスプレイ１０８に表示する（Ｓ７０）。すなわち、足マーク９１を画像データの各フレームに配置して、画像データと共に表示する。なお、表示する手順は図１４等で説明した。
【０２１２】
以上のように、本実施例の画像表示システム１００は、足部分が所定時間、静止することを利用して足位置を直接検出できる。歩行者の両足の位置を特定して歩行者と共に表示できる。なお、本実施例においても画像データに理想ライン９２を表示してよいし、理想ライン９２との平均乖離などを算出してよい。
【０２１３】
＜まとめ＞
以上説明したように、本実施形態の画像表示システム１００では、全天球画像撮像装置６０の周囲を旋回したり右左折する歩行者が撮像されるので、歩行者の様々な歩行動作を撮像可能になる。また画像データに歩行者の軌跡を表示するので指導者等は歩行動作を評価しやすい。
【０２１４】
＜その他の構成例＞
図２の構成例は一例に過ぎず、画像表示システム１００は以下のような構成でもよい。図３０（ａ）は、画像表示システム１００の概略構成図の別の一例を示す。図３０（ａ）ではサーバ１０がディスプレイ１０８を有している。この構成では、サーバ１０が図５の表示装置３０の機能を有しており、サーバ１０が時間軸の同期だけでなく全天球画像の回転等を行い測定データと画像データを表示する。
【０２１５】
図３０（ｂ）では、サーバ１０と表示装置３０がなくなっている。この構成では、加速度測定装置５０が、図５のサーバ１０と表示装置３０の機能を有している。図３０（ｂ）のような構成によれば、システム構成を簡易化できる。歩行者は加速度測定装置５０を装着して歩行し、歩行の終了後は加速度測定装置５０を指導者などに渡せば指導者から指導を受けることができる。
【０２１６】
なお、歩行者が複数の場合でも、歩行者が端部にさしかかった場合の処理は歩行者が一人の場合の処理を適用できる。
【０２１７】
また、実施例１では、図６の構成においてサーバ１０が表示範囲を決定してもよい。この場合の機能構成図を図３１（ａ）に示す。図３１（ａ）ではサーバ１０が動体検出部３５と画像回転部３４を有している。したがって、サーバ１０は表示範囲５１３のみをトリミングして表示装置３０に送信できる。したがって、サーバ１０と表示装置３０の間の通信時間を短縮でき、表示装置３０のメモリを圧迫しにくい。
【０２１８】
あるいは逆に、表示装置３０が、人物検出部１６、顔検出部１７、足位置算出部１８及び画像合成部２１を有していてもよい。この場合の機能構成図を図３１（ｂ）に示す。図３１（ｂ）では表示装置３０が人物検出部１６、顔検出部１７、足位置算出部１８及び画像合成部２１を有している。したがって、ユーザは一度、画像データを受信してしまうと、表示装置３０単体で処理できる。
【０２１９】
また、実施例２では、図２１の構成においてサーバ１０が表示範囲を決定してもよい。この場合の機能構成図を図３２に示す。図３２ではサーバ１０が画像回転部３４、動体検出部３５及び歩行軌跡判断部３６を有している。この場合も、サーバ１０と表示装置３０の間の通信時間を短縮でき、表示装置３０のメモリを圧迫しにくい。
【０２２０】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２２１】
例えば、本実施形態では、測定データの測定終了後及び画像データの撮像終了後に、測定データ及び画像データが表示されているが、リアルタイムに測定データ及び画像データが表示されてもよい。この場合、表示される測定データ及び画像データはほぼ同時期に撮像されたものである。
【０２２２】
また、以上の実施例で示した図６，２１などの構成例は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の処理の理解を容易にするために、主な機能に応じて分割したものである。例えば、サーバ１０が複数、存在し、複数のサーバ１０が協働して本実施形態の処理を行ってもよい。また、サーバ１０の記憶部１０００はサーバ１０が有している必要がなく、記憶部１０００はサーバ１０が記憶部１０００のデータを読み書き可能な場所にあればよい。
【０２２３】
また、図６、２１ではサーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０２２４】
なお、全天球画像撮像装置６０は広角撮像装置の一例であり、足位置算出部１８と歩行軌跡判断部３６は位置推定手段の一例であり、表示制御部３２は表示制御手段の一例であり、顔検出部１７は検出手段の一例であり、画像合成部２１は画像処理手段の一例である。
【符号の説明】
【０２２５】
１０        サーバ
１２        画像調整部
１８        足位置算出部
２１        画像合成部
３０        表示装置
３２        表示制御部
３３        操作入力受付部
３４        画像回転部
３５        動体検出部
３６        歩行軌跡判断部
５０        加速度測定装置
６０        全天球画像撮像装置
１００      画像表示システム
【先行技術文献】
【特許文献】
【０２２６】
【特許文献１】特開２０１０‐１７２３９４号公報
【図１】
2017225722.tif 000006
【図２】
2017225722.tif 000007
【図３】
2017225722.tif 000008
【図４】
2017225722.tif 000009
【図５】
2017225722.tif 000010
【図６】
2017225722.tif 000011
【図７】
2017225722.tif 000012
【図８】
2017225722.tif 000013
【図９】
2017225722.tif 000014
【図１０】
2017225722.tif 000015
【図１１】
2017225722.tif 000016
【図１２】
2017225722.tif 000017
【図１３】
2017225722.tif 000018
【図１４】
2017225722.tif 000019
【図１５】
2017225722.tif 000020
【図１６】
2017225722.tif 000021
【図１７】
2017225722.tif 000022
【図１８】
2017225722.tif 000023
【図１９】
2017225722.tif 000024
【図２０】
2017225722.tif 000025
【図２１】
2017225722.tif 000026
【図２２】
2017225722.tif 000027
【図２３】
2017225722.tif 000028
【図２４】
2017225722.tif 000029
【図２５】
2017225722.tif 000030
【図２６】
2017225722.tif 000031
【図２７】
2017225722.tif 000032
【図２８】
2017225722.tif 000033
【図２９】
2017225722.tif 000034
【図３０】
2017225722.tif 000035
【図３１】
2017225722.tif 000036
【図３２】
2017225722.tif 000037