(57)【要約】【課題】ＣＣＤカメラ等の撮像装置を監視対象に装着しなくても、移動端末装置を保持した監視対象が見ている画像に近い画像を表示する。【解決手段】移動端末装置１０では、監視対象者の移動距離、移動方位、視線の仰俯角を姿勢情報として算出する。表示端末装置６０では、移動端末装置１０において検出された移動距離および移動方位に基づいて監視対象者の現在位置を特定し、予め各地点における周囲のパノラマ画像が格納された装置である地図情報サーバ５０から、特定した監視対象者の現在位置および監視対象者の姿勢および移動方位により特定された視線方向に対応した画像を取得して、監視対象者が見ている画像に近似する画像としてディスプレイ等に表示させる。【選択図】図１
2018109925.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の移動距離を検出する移動距離検出手段と、前記監視対象の移動方位を検出する移動方位検出手段と、前記監視対象の姿勢を検出する姿勢検出手段とを有し、前記監視対象により保持される移動端末装置と、
前記移動端末装置において検出された移動距離および移動方位に基づいて前記監視対象の現在位置を特定する現在位置特定手段と、予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段とを備えた表示端末装置と、
を備えた画像表示システム。
【請求項２】
前記表示端末装置は、前記監視対象の初期位置の指定を受付ける受付手段を有し、
前記現在位置特定手段は、前記受付手段により受付けられた初期位置と、前記移動距離検出手段により検出された移動距離および前記移動方位検出手段により検出された移動方位とから、前記監視対象の相対的位置を現在位置として特定する請求項１記載の画像表示システム。
【請求項３】
前記表示手段は、予め各地点における周囲の画像がパノラマ画像として格納された装置から、監視対象の現在位置に対応したパノラマ画像を取得し、前記姿勢検出手段により検出された監視対象の姿勢および前記移動方位検出手段により検出された移動方位に対応した画像を取得したパノラマ画像から切り取ることにより、前記監視対象が見ている画像に近似する画像を取得する、
請求項１又は２記載の画像表示システム。
【請求項４】
前記移動距離検出手段は、加速度センサにより検出された加速度データに基づいて前記監視対象の歩数を計測し、計測した歩数に予め設定された当該監視対象の歩幅を乗算することにより移動距離を検出する請求項１から３のいずれか記載の画像表示システム。
【請求項５】
前記姿勢検出手段は、ジャイロセンサにより検出されたジャイロデータを用いて監視対象の視線の仰俯角を算出して、当該監視対象の姿勢情報として検出する請求項１から４のいずれか記載の画像表示システム。
【請求項６】
前記移動方位検出手段は、地磁気センサにより検出された方位データ、ジャイロセンサにより検出されたジャイロデータを用いて監視対象の移動方位を検出する請求項１から５のいずれか記載の画像表示システム。
【請求項７】
前記表示手段は、前記現在位置特定手段により特定された前記監視対象の現在位置を示す地図画像を、前記監視対象が見ている画像に近似する画像とともに表示する請求項１から６のいずれか記載の画像表示システム。
【請求項８】
前記表示手段は、前記現在位置特定手段により特定された前記監視対象の現在位置を示す衛星写真画像を、前記地図画像および前記監視対象が見ている画像に近似する画像とともに表示する請求項７記載の画像表示システム。
【請求項９】
前記監視対象の現在位置を特定する現在位置特定手段と、前記監視対象の移動方位を検出する移動方位検出手段と、前記監視対象の姿勢を検出する姿勢検出手段とを有し、前記監視対象により保持される移動端末装置と、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段とを備えた表示端末装置と、
を備えた画像表示システム。
【請求項１０】
移動端末装置において検出された移動距離および移動方位に基づいて監視対象の現在位置を特定する現在位置特定手段と、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段と、
を備えた表示端末装置。
【請求項１１】
監視対象により保持される移動端末装置において検出された当該監視対象の移動距離および移動方位に基づいて前記監視対象の現在位置を特定する現在位置特定ステップと、
前記監視対象の姿勢を検出する姿勢検出ステップと、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定ステップにおいて特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動端末装置を保持した監視対象を監視するための画像を表示する画像表示システム、表示端末装置およびプログラムに関する。
【背景技術】
【０００２】
近年、社会の高齢化に伴い、認知症の老人が街中を徘徊してしまうということが問題となっている。また、子供が街中で危険な事件に巻き込まれるというような問題も発生している。
【０００３】
そのため、老人や子供等の監視対象者の位置をＧＰＳ(Global Positioning System)等のシステムにより測位して、地図上で監視対象者の現在位置を表示するようなシステムが提案されている。
【０００４】
しかし、監視対象者の現在位置を示す位置情報を表示しただけではその監視対象者がどのような状態で具体的にどのような行動を行っているのかを把握することはできなかった。
【０００５】
このような問題は、ＣＣＤ（Charge Coupled Device）カメラ等の撮像装置を監視対象者に装着して、撮像された画像を表示するようにすれば解決することができる。
【０００６】
例えば、ＣＣＤカメラをロボット、ヘリコプター等の装置や人に装着して、そのロボットやヘリコプターの周囲画像や人が見ている画像を遠隔地でも見ることができるようにしたシステムが提案されている（例えば、特許文献１、２、３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−４２２８２号公報
【特許文献２】特開２００４−２５５５５２号公報
【特許文献３】特開２０１１−２４３０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記のようなシステムではＣＣＤカメラ等の撮像装置を人やロボットに装着するのに手間がかかるという問題がある。また、撮影方向がずれないように撮像装置を装着するのが難しいという問題もある。さらに、街中の映像を無断で撮影したのでは第三者が撮影されてしまいプライバシーの侵害という問題が発生する可能性がある。そもそも、明らかにカメラを装着した状態で街中を歩いたのでは、周囲の他人にとってはプライバシーを侵害されたと受け取られてしまう等のトラブルになる可能性もある。
【０００９】
本発明の目的は、ＣＣＤカメラ等の撮像装置を監視対象に装着しなくても、移動端末装置を保持した監視対象が見ている画像に近い画像を表示することが可能な画像表示システムおよびプログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明の画像表示システムは、監視対象の移動距離を検出する移動距離検出手段と、前記監視対象の移動方位を検出する移動方位検出手段と、前記監視対象の姿勢を検出する姿勢検出手段とを有し、前記監視対象により保持される移動端末装置と、
前記移動端末装置において検出された移動距離および移動方位に基づいて前記監視対象の現在位置を特定する現在位置特定手段と、予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段とを備えた表示端末装置とを備えている。
【００１１】
また、本発明の他の画像表示システムでは、前記表示端末装置は、前記監視対象の初期位置の指定を受付ける受付手段を有し、
前記現在位置特定手段は、前記受付手段により受付けられた初期位置と、前記移動距離検出手段により検出された移動距離および前記移動方位検出手段により検出された移動方位とから、前記監視対象の相対的位置を現在位置として特定するようにしても良い。
【００１２】
さらに、本発明の他の画像表示システムでは、前記表示手段は、予め各地点における周囲の画像がパノラマ画像として格納された装置から、監視対象の現在位置に対応したパノラマ画像を取得し、前記姿勢検出手段により検出された監視対象の姿勢および前記移動方位検出手段により検出された移動方位に対応した画像を取得したパノラマ画像から切り取ることにより、前記監視対象が見ている画像に近似する画像を取得するようにしても良い。
【００１３】
さらに、本実施形態の他の画像表示システムでは、前記移動距離検出手段は、加速度センサにより検出された加速度データに基づいて前記監視対象の歩数を計測し、計測した歩数に予め設定された当該監視対象の歩幅を乗算することにより移動距離を検出するようにしても良い。
【００１４】
さらに、本実施形態の他の画像表示システムでは、前記姿勢検出手段は、ジャイロセンサにより検出されたジャイロデータを用いて監視対象の視線の仰俯角を算出して、当該監視対象の姿勢情報として検出するようにしても良い。
【００１５】
さらに、本実施形態の他の画像表示システムでは、前記移動方位検出手段は、地磁気センサにより検出された方位データ、ジャイロセンサにより検出されたジャイロデータを用いて監視対象の移動方位を検出するようにしても良い。
【００１６】
さらに、本実施形態の他の画像表示システムでは、前記表示手段は、前記現在位置特定手段により特定された前記監視対象の現在位置を示す地図画像を、前記監視対象が見ている画像に近似する画像とともに表示するようにしても良い。
【００１７】
さらに、本実施形態の他の画像表示システムでは、前記表示手段は、前記現在位置特定手段により特定された前記監視対象の現在位置を示す衛星写真画像を、前記地図画像および前記監視対象が見ている画像に近似する画像とともに表示するようにしても良い。
【００１８】
さらに、本実施形態の他の画像表示システムでは、前記監視対象の現在位置を特定する現在位置特定手段と、前記監視対象の移動方位を検出する移動方位検出手段と、前記監視対象の姿勢を検出する姿勢検出手段とを有し、前記監視対象により保持される移動端末装置と、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段とを備えた表示端末装置とを備えている。
【００１９】
また、本発明の表示端末装置は、移動端末装置において検出された移動距離および移動方位に基づいて監視対象の現在位置を特定する現在位置特定手段と、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段とを備えている。
【００２０】
また、本実施形態の他のプログラムは、監視対象により保持される移動端末装置において検出された当該監視対象の移動距離および移動方位に基づいて前記監視対象の現在位置を特定する現在位置特定ステップと、
前記監視対象の姿勢を検出する姿勢検出ステップと、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定ステップにおいて特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示ステップとをコンピュータに実行させる。
【発明の効果】
【００２１】
本発明によれば、ＣＣＤカメラ等の撮像装置を監視対象に装着しなくても、移動端末装置を保持した監視対象が見ている画像に近い画像を表示することが可能になるという効果を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態の画像表示システムの構成を示す図である。
【図２】本発明の一実施形態の画像表示システムにおける移動端末装置１０のハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態の画像表示システムにおける移動端末装置１０の機能構成を示すブロック図である。
【図４】データ処理部２１により算出される移動方位情報を説明するための図である。
【図５】データ処理部２１により算出される姿勢情報（仰俯角）を説明するための図である。
【図６】本発明の一実施形態の画像表示システムにおける表示端末装置２０の機能構成を示すブロック図である。
【図７】制御部３３が、監視対象者の初期位置からの移動距離と移動方位に基づいて監視対象者の現在位置を算出する様子を説明するための図である。
【図８】本発明の一実施形態の画像表示システムの動作を説明するためのフローチャートである。
【図９】表示端末装置６０に表示される視野画像、地図画像、衛星写真画像の一例を示す図である。
【図１０】監視対象者が水平方向を見ている場合に表示される視野画像の一例を示す図である。
【図１１】監視対象者が上方向を見ている場合に表示される視野画像の一例を示す図である。
【図１２】監視対象者が下方向を見ている場合に表示される視野画像の一例を示す図である。
【図１３】ＧＰＳ機能付の移動端末装置１０ａの機能構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２４】
図１は本発明の一実施形態の画像表示システムのシステム構成を示す図である。
【００２５】
本発明の一実施形態の画像表示システムは、図１に示されるように、スマートフォン（以下、スマホと省略する。）等の移動端末装置１０と、パーソナルコンピュータ（以下、パソコンと省略する。）等の表示端末装置６０と、地図情報サーバ５０とから構成されている。
【００２６】
そして、移動端末装置１０は、行動を監視しようとする子供や老人等の監視対象者に保持してもらうための装置であり、無線基地局２０との間で無線通信を行うことにより、移動通信ネットワーク３０を介してインターネット４０に接続することができるように構成されている。移動端末装置１０は、監視対象者のポケット、カバン等に入れられて保持されていれば良い。
【００２７】
表示端末装置６０は、移動端末装置１０を保持した監視対象者を監視するための画像を表示するための装置であり、パソコン等の端末装置に専用のソフトウェアをインストールすることにより実現される。
【００２８】
地図情報サーバ５０は、２次元の地図画像情報や、衛星写真画像（又は航空写真画像）、予め各地点における周囲の画像が撮像されたパノラマ画像が格納されている。
【００２９】
この地図情報サーバ５０の一例としては、グーグル（登録商標）社により提供されているグーグルマップ、グーグルアース、ストリートビュー（登録商標）等の各種データを提供しているサーバを挙げることができる。
【００３０】
次に、本実施形態の画像表示システムにおける移動端末装置１０のハードウェア構成を図２に示す。
【００３１】
移動端末装置１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、無線回線を介して無線基地局２０との間でデータの送信及び受信を行う無線通信部１４、タッチパネル又は液晶ディスプレイ等のユーザインタフェース（ＵＩ）装置１５、加速度センサ１６、ジャイロセンサ１７、地磁気センサ１８を有する。これらの構成要素は、制御バス１９を介して互いに接続されている。
【００３２】
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、移動端末装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。また、この制御プログラムをアプリケーションプログラム（以下、アプリと省略する。）としてダウンロードして、ダウンロードしたアプリをＣＰＵ１１に実行させるようにしても良い。
【００３３】
図３は、上記の制御プログラムが実行されることにより実現される移動端末装置１０の機能構成を示すブロック図である。
【００３４】
本実施形態の移動端末装置１０では、図３に示されるように、上記でも説明した加速度センサ１６、ジャイロセンサ１７、地磁気センサ１８、無線通信部１４に加えて、データ処理部２１が構成されている。
【００３５】
データ処理部２１は、前記移動距離検出手段は、加速度センサ１６により検出された加速度データに基づいて監視対象者の歩数を計測し、計測した歩数に予め設定された監視対象者の歩幅を乗算する（掛ける）ことにより監視対象者の移動距離を検出す移動距離検出手段として機能する。
【００３６】
また、データ処理部２１は、地磁気センサ１８により検出された方位データ、ジャイロセンサ１７により検出されたジャイロデータを用いて監視対象者の移動方位（方位角）を検出する移動方位検出手段として機能する。例えば、データ処理部２１は、図４に示すように、北方向を基準方向として、監視対象者の視線方向と基準方向とのなす角であるαを移動方位情報として算出する。なお、この移動方位には、監視対象者が移動している方向だけでなく、監視対象者が向いている方向が含まれるものとする。
【００３７】
なお、データ処理部２１は、実際に移動方位を検出する際には、加速度センサ１６による加速度データも用いて各種補正演算を行って移動方位を検出している。
【００３８】
さらに、データ処理部２１は、ジャイロセンサ１７により検出されたジャイロデータを用いて監視対象者の視線の仰俯角を算出して、この監視対象者の姿勢情報として検出する姿勢検出手段として機能する。例えば、データ処理部２１は、図５に示すように、水平方向を基準方向とした仰俯角βを監視対象者の姿勢情報として検出する。
【００３９】
なお、データ処理部２１は、加速度センサ１６、ジャイロセンサ１７、地磁気センサ１８により検出された検出データに対して移動平均処理、ＬＰＦ（Low Pass Filter）によるノイズ除去処理、線形カルマンフィルタを用いた誤差補正処理等の様々な演算処理を行って、移動距離情報、移動方位情報、姿勢情報の算出を行っている。
【００４０】
なお、本実施形態では、加速度センサ１６、ジャイロセンサ１７、地磁気センサ１８を用いて監視対象者の移動距離、移動方位、姿勢を検出しているが、検出精度が悪くはなるが、地磁気センサ１８を用いることなく加速度センサ１６、ジャイロセンサ１７のみがあれば監視対象者の移動距離、移動方位、姿勢を検出することが可能である。
【００４１】
そして、データ処理部２１により算出された移動距離情報、移動方位情報、姿勢情報は、無線通信部１４を介して無線基地局２０に送信され、移動通信ネットワーク３０、インターネット４０を介して表示端末装置６０に送信される。
【００４２】
次に、移動端末装置１０から送信されてきた移動距離情報、移動方位情報、姿勢情報を受信した表示端末装置６０の機能構成について図６を参照して説明する。
【００４３】
本実施形態における表示端末装置６０は、図６に示されるように、通信部３１と、操作入力部３２と、制御部３３と、表示部３４とを備えている。
【００４４】
なお、本実施形態における表示端末装置６０は、例えば汎用パソコンに制御プログラムをインストールして、ＣＰＵがこの制御プログラムに基づいて所定の処理を実行することにより各種機能が実現される。
【００４５】
通信部３１は、インターネット４０を介して、移動端末装置１０から送信されてきた移動距離情報、移動方位情報、姿勢情報等を受信するとともに、地図情報サーバ５０にアクセスして地図画像データ、衛星写真画像データ、パノラマ画像データ等を受信する。
【００４６】
制御部３３は、移動端末装置１０において検出された移動距離および移動方位に基づいて監視対象者の現在位置を特定する現在位置特定手段として機能する。
【００４７】
そして、制御部３３は、予め各地点における周囲のパノラマ画像が格納された装置である地図情報サーバ５０から、特定した監視対象者の現在位置および監視対象者の姿勢および移動方位により特定された視線方向に対応した画像を取得して、監視対象者が見ている画像に近似する画像として表示部３４に表示させる。
【００４８】
具体的には、制御部３３は、予め各地点における周囲の画像がパノラマ画像として格納された地図情報サーバ５０から、監視対象者の現在位置に対応したパノラマ画像を取得し、監視対象の姿勢および移動方位に対応した画像を、取得したパノラマ画像から切り取ることにより、監視対象者が見ている画像に近似する画像を取得する。
【００４９】
さらに、操作入力部３２は、監視対象者の初期位置（スタート位置）の指定を受付ける受付手段として機能する。
【００５０】
そして、制御部３３は、操作入力部３２により受付けられた初期位置と、監視対象者の移動距離および移動方位から監視対象者の相対的位置を算出して、現在位置として特定する。
【００５１】
具体的には、制御部３３は、図７に示すように、監視対象者の初期位置（緯度経度情報）からの移動距離と移動方位α１〜α４に基づいて監視対象者の移動した位置をそれぞれ計算することにより、監視対象者の現在位置（緯度経度情報）を算出する。
【００５２】
そして、制御部３３は、このようにして得られた監視対象者が見ている画像に近似する画像を、視野画像として表示端末装置６０の表示部３４上に表示する。
【００５３】
さらに、制御部３３は、特定した監視対象者の現在位置を示す地図画像、衛星写真画像を、この視野画像とともに表示端末装置６０の表示部３４上に表示する。
【００５４】
次に、本実施形態の画像表示システムの動作を図８のフローチャートを参照して説明する。
【００５５】
先ず、表示端末装置６０では、例えば地図画像上の位置を指定することにより、監視対象者の出発地点を初期位置として指定する(ステップＳ１０１)。
【００５６】
そして、移動端末装置１０を保持した監視対象者が移動すると、移動端末装置１０では、上述したような処理が行われて移動距離、移動方位、監視対象者の姿勢（仰俯角）が検出されて、表示端末装置６０に送信される（ステップＳ１０２）。
【００５７】
すると、表示端末装置６０では、送信されてきた移動方位および移動距離から監視対象者の現在位置を特定する（ステップＳ１０３）。
【００５８】
そして、表示端末装置６０は、地図情報サーバ５０にアクセスすることにより、監視対象者の現在位置周辺の地図画像、衛星写真画像および現在位置の周辺を撮像したパノラマ画像を取得する（ステップＳ１０４）。
【００５９】
さらに、表示端末装置６０は、取得したパノラマ画像から、監視対象者の向いている方向（移動方位）、姿勢（仰俯角）に対応した画像を切出して、その監視対象者が見ている画像に近似する画像である視野画像を生成する（ステップＳ１０５）。
【００６０】
最後に、表示端末装置６０では、生成された視野画像、地図画像、衛星写真画像がディスプレイ等の表示部３４に表示される（ステップＳ１０６）。
【００６１】
そして、監視対象者に対する管理処理が終了するまで、ステップＳ１０２〜Ｓ１０６の処理が繰り返される（ステップＳ１０７）。
【００６２】
このようにして、得られた視野画像、地図画像、衛星写真画像が表示端末装置６０に表示された場合の一例を図９に示す。
【００６３】
図９に示された表示例では、監視対象者の現在位置を示す地図画像、衛星写真画像とともに監視対象者の視線に応じた画像が視野画像として表示されている。
【００６４】
この表示端末装置６０の表示部３４上に表示される地図画像、衛星写真画像では、監視対象者の現在位置がアイコン等により表示されるとともに過去の移動履歴情報が表示されることにより、監視対象者が初期位置からどのような経路で移動して、現在どの位置にいるかを把握することが可能となる。なお、監視対象者の現在位置を示すアイコンを複数用意して、この複数のアイコンの中から表示するアイコンを選択して切替えられるようにすることも可能である。
【００６５】
特に、単に地図画像上における監視対象者の位置だけでなく衛星写真画像上の位置を並列して表示させることにより、監視対象者の行先に危険な箇所が無いか否か等を迅速に判断することが可能となる。
【００６６】
また、監視対象者が見ている画像に近い画像が視野画像として表示されることにより、監視対象者がどこのいるのかだけでなく、その位置の周辺がどのような場所なのかを把握することが可能となる。さらに、監視対象者が向いている方向の画像が表示されることにより、監視対象者が何を見ているのか、これからどのような場所に行こうとしているのか等がより把握し易くなる。つまり、監視対象者の現在の位置と状態（正常か異常か）および周辺の安全性とを地図画像、視野画像、衛星写真画像等から確認することができる。
【００６７】
例えば、監視対象者が図１０(Ａ)に示すように水平方向を見ている場合、図１０(Ｂ)に示すような視野画像が表示されているものとする。ここでは、監視対象者が胸ポケットに移動端末装置１０を入れて保持している場合を用いて説明する。
【００６８】
このような状態で監視対象者が上方向を見た場合、図１１(Ａ)に示すように、移動端末装置１０の傾きが変化する。その結果、移動端末装置１０ではジャイロセンサ１７により姿勢変化が検出されて、視野画像は図１１(Ｂ)に示すようにその場所の上の方を見た画像に変化する。
【００６９】
さらに、監視対象者が下方向を見た場合、図１２(Ａ)に示すように、移動端末装置１０の傾きが変化する。その結果、移動端末装置１０ではジャイロセンサ１７により姿勢変化が検出されて、視野画像は図１２(Ｂ)に示すようにその場所の下の方を見た画像に変化する。
【００７０】
また、監視対象者が移動せずに同じ場所で見ている方向を回転した場合には、表示される視野画像もその回転に応じて変化する。
【００７１】
なお、本実施形態の画像表示システムにより表示される視野画像は、監視対象者が実際に見ている画像ではなく、例えば、グーグル（登録商標）社により提供されているストリートビュー（登録商標）の画像である。つまり、その場所において過去に撮像された画像が視野画像として表示される。
【００７２】
そのため、監視対象者にＣＣＤカメラ等の撮像装置を装着して監視対象者が見ている画像を撮像して表示させる場合と比較して、リアルタイム性は低い画像である。
【００７３】
しかし、監視対象者にＣＣＤカメラ等の撮像装置を装着して、撮像された画像を表示する場合とは違い、周囲の第三者を撮像してしまうようなプライバシー侵害の問題を発生させずに済む。
【００７４】
また、監視対象者の胸ポケット、カバン等に移動端末装置１０を入れてもらうだけで良いため、システム上の運用が容易となる。
【００７５】
さらに、本実施形態の画像表示システムでは、移動端末装置１０において監視対象者の移動距離および移動方位を検出して、表示端末装置６０では、初期位置からの相対的位置を算出している。
【００７６】
そのため、消費電力が大きいＧＰＳ（Global Positioning System）等の測位装置を使用することなく監視対象者の位置特定を行って、監視対象者の状況を把握するための画像表示を行うことが可能である。
【００７７】
また、初期位置からの相対的位置を算出して監視対象者の現在位置の特定を行っていることにより、地球上の任意の場所を初期位置として設定することができる。そのため、本実施形態の画像表示システムによれば、実際の場所以外の場所を初期位置として設定することにより仮想的な画像表示を行って、初めて訪れる場所の疑似体験を行うことができる。
【００７８】
例えば、初期位置をフランスのエッフェル塔の周囲に設定することにより、日本にいながらエッフェル塔の周囲を散策した場合の画像を表示さるようなシミュレーションを行うことができる。
【００７９】
このようなシミュレーションとしては、例えば、これから行く場所の距離や周辺風景等を事前に確認する場合にも使用することができる。例えば、初期位置を調査したい場所に設定して、移動端末装置１０を手にもって振ることにより人が装着して歩いた場合と同等の振動を与えることにより、表示端末装置６０上で調査したい場所の周辺画像等を表示させるような使用方法を実現することができる。
【００８０】
さらに、出張者にこの移動端末装置１０を保持してもらいある場所に行ってもらい、会議室において大勢で表示端末装置６０に表示される画像を見ることにより、ある特定の場所の周囲の画像を大勢で見るようなことも可能となる。このような場合には、出張者に向く方向を指示することにより見たい方向の画像を表示させるようにすることができる。
【００８１】
なお、相対的位置を算出することにより監視対象者の位置特定を行うことを継続していると位置誤差が大きくなってしまう場合がある。そのため、移動端末装置１０にＧＰＳ等の絶対的位置検出手段が備えられている場合には、定期的に位置修正を行うことにより位置誤差が大きくなり過ぎることを防ぐことができる。
【００８２】
このようなＧＰＳ機能付の移動端末装置１０ａの機能構成を図１３に示す。
【００８３】
図１３に示した移動端末装置１０ａは、図３に示した移動端末装置１０に対してＧＰＳ２２が追加されている点が異なっている。
【００８４】
このように移動端末装置１０ａ内に、監視対象者の現在位置を特定する現在位置特定手段としてＧＰＳ２２が設けられている場合、表示端末装置６０では、ＧＰＳ２２により測位された位置情報を用いて監視対象者の現在位置を特定することが可能である。
【００８５】
そのため、表示端末装置６０において監視対象者の初期位置を設定したり、移動端末装置１０ａにおいて移動距離を算出する処理を省くことが可能となる。
【００８６】
ただし、このような構成の場合には、初期位置を設定する手間等を省くことはできるが、上記で説明したような現在位置とは異なる位置を初期位置としてシミュレーションするようなことはできなくなる。
【００８７】
なお、上記で説明した本実施形態では、移動端末装置１０として、スマホを用いる場合について説明した。しかし、移動端末装置１０として、専用端末装置を用いることも可能である。例えば、タッチパネル等を備えていない各種センサと通信機能のみを備えた専用端末装置を移動端末装置１０として用いることにより、装置の小型化を図ることが可能となり監視対象者への装着がより容易になる。
【００８８】
さらに、メガネ状のウェアラブル端末装置や腕時計型のウェアラブル端末装置にジャイロセンサ、地磁気センサ、加速度センサ等が備えられている場合、このようなウェアラブル端末装置を移動端末装置として利用することも可能である。特にメガネ状のウェアラブル端末を用いることにより、より監視対象者の視線方向を詳細に特定することが可能となり、表示端末装置６０において表示される視野画像の精度を向上させることが可能となる。
【００８９】
また、腕時計型のウェアラブル端末装置を用いた場合、この腕時計型のウェアラブル端末装置に血圧、心拍等のバイタルデータを測定するためのセンサが設けられていれば、このバイタルデータを表示端末装置６０に送信するようにして、視野画像、地図画像、衛星写真画像等とともに監視対象者のバイタルデータを表示させるようにすることも可能である。そして、このような表示を行うことにより、監視対象者の正常斜め異常等の状態をより詳しく把握することが可能となる。
【００９０】
さらに、上記で説明したセンサだけでなく、湿度センサ、温度センサ、気圧センサ等を移動端末装置１０に設けて、得られた湿度情報、温度情報、気圧情報等を表示端末装置６０上で表示するようなことも可能である。なお、気圧情報を用いることにより監視対象者がいる場所の高度を算出することが可能である。
【００９１】
なお、本実施形態では移動端末装置１０が１台の場合を用いて説明したが、複数の移動端末装置１０を用意して、複数の監視対象者の行動を監視するための画像を表示端末装置６０上に並べて表示するようなことも可能である。
【００９２】
[変形例]
上記実施形態では、老人や子供等の人を監視対象として移動端末装置１０を所持させて、移動経路の追跡、見ている画像の確認等を行う場合を用いて説明したが、本発明はこれに限定されるものではなく、例えば、犬、猫等のペットのような動物や自律移動可能なロボットに移動端末装置１０を装着して、その動物やロボットを監視対象とする場合でも同様に本発明を適用することができるものである。
【符号の説明】
【００９３】
１０、１０ａ    移動端末装置
１１    ＣＰＵ
１２    メモリ
１３    記憶装置
１４    無線通信部
１５    ユーザインタフェース（ＵＩ）装置
１６    加速度センサ
１７    ジャイロセンサ
１８    地磁気センサ
１９    制御バス
２０    無線基地局
２１    データ処理部
２２    ＧＰＳ
３０    移動通信ネットワーク
３１    通信部
３２    操作入力部
３３    制御部
３４    表示部
４０    インターネット
５０    地図情報サーバ
６０    表示端末装置
【図１】
2018109925.tif 000003
【図２】
2018109925.tif 000004
【図３】
2018109925.tif 000005
【図４】
2018109925.tif 000006
【図５】
2018109925.tif 000007
【図６】
2018109925.tif 000008
【図７】
2018109925.tif 000009
【図８】
2018109925.tif 000010
【図９】
2018109925.tif 000011
【図１０】
2018109925.tif 000012
【図１１】
2018109925.tif 000013
【図１２】
2018109925.tif 000014
【図１３】
2018109925.tif 000015
【手続補正書】
【提出日】平成29年4月21日(2017.4.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
監視対象の移動距離を検出する移動距離検出手段と、前記監視対象の移動方位を検出する移動方位検出手段と、前記監視対象の姿勢を検出する姿勢検出手段とを有し、前記監視対象により保持される移動端末装置と、
前記移動端末装置において検出された移動距離および移動方位に基づいて前記監視対象の現在位置を特定する現在位置特定手段と、予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段とを備えた表示端末装置とを備え、
前記表示端末装置は、前記監視対象の初期位置の指定を受付ける受付手段を有し、
前記現在位置特定手段は、前記受付手段により受付けられた初期位置と、前記移動距離検出手段により検出された移動距離および前記移動方位検出手段により検出された移動方位とから、前記監視対象の相対的位置を現在位置として特定する
画像表示システム。
【請求項２】
前記表示手段は、予め各地点における周囲の画像がパノラマ画像として格納された装置から、監視対象の現在位置に対応したパノラマ画像を取得し、前記姿勢検出手段により検出された監視対象の姿勢および前記移動方位検出手段により検出された移動方位に対応した画像を取得したパノラマ画像から切り取ることにより、前記監視対象が見ている画像に近似する画像を取得する、
請求項１記載の画像表示システム。
【請求項３】
前記移動距離検出手段は、加速度センサにより検出された加速度データに基づいて前記監視対象の歩数を計測し、計測した歩数に予め設定された当該監視対象の歩幅を乗算することにより移動距離を検出する請求項１または２記載の画像表示システム。
【請求項４】
前記姿勢検出手段は、ジャイロセンサにより検出されたジャイロデータを用いて監視対象の視線の仰俯角を算出して、当該監視対象の姿勢情報として検出する請求項１から３のいずれか記載の画像表示システム。
【請求項５】
前記移動方位検出手段は、地磁気センサにより検出された方位データ、ジャイロセンサにより検出されたジャイロデータを用いて監視対象の移動方位を検出する請求項１から４のいずれか記載の画像表示システム。
【請求項６】
前記表示手段は、前記現在位置特定手段により特定された前記監視対象の現在位置を示す地図画像を、前記監視対象が見ている画像に近似する画像とともに表示する請求項１から５のいずれか記載の画像表示システム。
【請求項７】
前記表示手段は、前記現在位置特定手段により特定された前記監視対象の現在位置を示す衛星写真画像を、前記地図画像および前記監視対象が見ている画像に近似する画像とともに表示する請求項６記載の画像表示システム。
【請求項８】
監視対象の初期位置の指定を受付ける受付手段と、
前記受付手段により受付けられた初期位置と、前記監視対象により保持される移動端末装置において検出された移動距離および移動方位に基づいて前記監視対象の相対的位置を現在位置として特定する現在位置特定手段と、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定手段により特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示手段と、
を備えた表示端末装置。
【請求項９】
監視対象の初期位置の指定を受付ける受付ステップと、
前記受付ステップにおいて受付けられた初期位置と、前記監視対象により保持される移動端末装置において検出された当該監視対象の移動距離および移動方位に基づいて前記監視対象の相対的位置を現在位置として特定する現在位置特定ステップと、
前記監視対象の姿勢を検出する姿勢検出ステップと、
予め各地点における周囲の画像が格納された装置から、前記現在位置特定ステップにおいて特定された前記監視対象の現在位置および前記監視対象の姿勢および移動方位により特定された視線方向に対応した画像を取得して、前記監視対象が見ている画像に近似する画像として表示する表示ステップとをコンピュータに実行させるためのプログラム。