(57)【要約】  本発明は、特定の場所に対応する画像を、素早くかつ正確に表示することが可能な画像表示システム、端末、方法およびプログラムを提供する。本発明の一実施形態に係る画像表示システムは、携帯端末の位置および向きを含む情報を取得する情報取得部と、携帯端末の位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、画像を取得する画像取得部と、を備える。
2017146162.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末の位置および向きを含む情報を取得する情報取得部と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する画像取得部と、
を備える画像表示システム。
【請求項２】
前記画像に関連付けられた前記位置および向きは、前記画像の撮像範囲の位置および向きである、請求項１に記載の画像表示システム。
【請求項３】
前記携帯端末の前記位置および向きと、前記画像に関連付けられた前記位置および向きとの類似性を表す類似度を算出する類似度算出部をさらに備え、
前記画像取得部は、前記類似度に基づいて前記画像を取得する、請求項１または２に記載の画像表示システム。
【請求項４】
前記類似度算出部は、前記携帯端末と前記画像との間で、前記位置のずれよりも前記向きのずれが前記類似性に大きく影響し、前記向きのずれが小さいほど前記類似性が高いように、前記類似度を算出する、請求項３に記載の画像表示システム。
【請求項５】
前記類似度算出部は、前記携帯端末と前記画像との間で、前記向きに沿った方向の前記位置のずれよりも、前記向きに垂直な方向の前記位置のずれが前記類似性に大きく影響し、前記向きに垂直な方向の前記位置のずれが小さいほど前記類似性が高いように、前記類似度を算出する、請求項３または４に記載の画像表示システム。
【請求項６】
前記類似度算出部は、前記画像に関連付けられた前記位置が、前記携帯端末の前記位置から前記携帯端末の前記向きに沿った方向の前方である場合よりも、前記携帯端末に関連付けられた前記位置から前記携帯端末の前記向きに沿った方向の後方である場合に、前記類似性が高いように、前記類似度を算出する、請求項５に記載の画像表示システム。
【請求項７】
前記情報取得部を有する前記携帯端末と、
前記画像取得部を有するサーバと、を備える請求項１〜６のいずれか一項に記載の画像表示システム。
【請求項８】
前記携帯端末の前記位置および向きを、所定の領域毎および所定の方位毎の分類に分ける情報分類部をさらに備え、
前記画像取得部は、前記分類に基づいて、前記画像を取得する、請求項１〜６のいずれか一項に記載の画像表示システム。
【請求項９】
前記情報取得部を有する前記携帯端末と、
前記画像取得部を有するサーバと、を備え、
前記情報分類部は、前記分類が変化した場合に、前記携帯端末から前記サーバに前記分類を送信する、請求項８に記載の画像表示システム。
【請求項１０】
前記画像取得部は、過去に取得された前記画像の内容と、前記画像に関連付けられた前記位置および向きとの少なくとも一方に基づいて学習を行う、請求項１〜９のいずれか一項に記載の画像表示システム。
【請求項１１】
位置および向きを含む情報を取得する情報取得部と、
前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を表示する画像表示部と、
を備える端末。
【請求項１２】
携帯端末の位置および向きを含む情報を取得する工程と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する工程と、
を備える方法。
【請求項１３】
コンピュータに、
携帯端末の位置および向きを含む情報を取得する工程と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する工程と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の場所において過去に撮像された画像を表示するシステム、端末、方法およびプログラムに関する。
【背景技術】
【０００２】
地域の警備においては、不審物の検知が行われる。不審物は、例えば爆発物や毒物であり、基本的にその場所に通常置かれていない物体である。そのため、不審物の検知にはその物体が通常配置されているか否かの判断が必要である。【０００３】
特に重要な行事の警備においては、複数回にわたって調査が行われ、各回の調査において人員が異なる場合がある。例えば要人の警備においては、予定ルート上で事前の調査を行う人員と、要人が通過する直前に安全の確認を行う人員は異なることが実際によくある。通常配置されていることを事前に確認した物体であるかどうかが、要人が通過する直前に確認する人員に全て伝えておくことは困難である。そのため、事前の調査の後に不審物が置かれた場合に、要人が通過する直前に確認する人員はその不審物に気付かない、あるいは不審物ではないのに過剰に反応して確認に時間を要するおそれがある。【０００４】
例えば、事前の調査において予め様々な場所を撮像して画像として蓄積しておき、直前の調査では該画像と現在の風景とを比較することによって、現在の風景中に事前の調査において存在しなかった物体が増えているか否かを調べることが考えられる。この場合には、事前の調査において撮像される多数の画像を、撮像場所と関連付けて保存および提供する技術が求められる。【０００５】
特許文献１に記載の技術は、撮像場所を示す位置情報に関連付けられた画像をサーバ上に蓄積し、蓄積された画像から現在の位置またはユーザにより指定された位置に近いものをサーバが選択して携帯端末のディスプレイ上に表示させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１８７２３３号公報
【非特許文献】
【０００７】
【非特許文献１】“準天頂衛星システムユーザインタフェース仕様書”、［online］、平成26年11月28日、宇宙航空研究開発機構、［平成28年2月25日検索］、インターネット〈URL：http://qz-vision.jaxa.jp/USE/is-qzss/DOCS/IS-QZSS_16_J.pdf〉、p.A1-A12
【発明の概要】
【０００８】
しかしながら、特許文献１に記載の技術は現在位置または指定位置に近い位置で撮像された画像を表示するのみであるため、特定の場所（風景）を撮像した画像を表示するものではない。すなわち、位置のみに基づいて取得された画像は、その位置からあらゆる方向を撮像した多数の画像を含み得る。位置のみに基づいて取得された多数の画像から特定の場所を撮像したものを探すには大きな時間を要する。広い範囲で行われる警備においては１つの場所で消費される時間を低減することが求められるため、特許文献１に記載の技術を、不審物の検知を含む警備に用いることは難しい。
【０００９】
本発明は、上述の問題に鑑みて行われたものであって、特定の場所に対応する画像を、素早くかつ正確に表示することが可能な画像表示システム、端末、方法およびプログラムを提供することを目的とする。
【００１０】
本発明の第１の態様は、画像表示システムであって、携帯端末の位置および向きを含む情報を取得する情報取得部と、前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する画像取得部と、を備える。
【００１１】
本発明の第２の態様は、端末であって、位置および向きを含む情報を取得する情報取得部と、前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を表示する画像表示部と、を備える。
【００１２】
本発明の第３の態様は、方法であって、携帯端末の位置および向きを含む情報を取得する工程と、前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する工程と、を備える。
【００１３】
本発明の第４の態様は、プログラムであって、コンピュータに、携帯端末の位置および向きを含む情報を取得する工程と、前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する工程と、を実行させる。
【００１４】
本発明によれば、携帯端末の位置および向きに基づいて過去に記録された画像を取得するため、携帯端末を有するユーザが向いている特定の場所に対応する画像を容易に取得し、表示することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る画像表示システムの模式図である。
【図２】第１の実施形態に係る携帯端末およびサーバの概略構成図である。
【図３】第１の実施形態に係る携帯端末を有するユーザの位置を示す模式図である。
【図４】現在画像を表示している携帯端末のディスプレイの前面図である。
【図５】過去画像を表示している携帯端末のディスプレイの前面図である。
【図６】第１の実施形態に係る画像表示システムのブロック図である。
【図７】第１の実施形態に係る画像表示方法のフローチャートを示す図である。
【図８】第１の実施形態に係る画像表示方法のシーケンス図である。
【図９】現在画像および過去画像の位置および向きを示す模式図である。
【図１０】現在画像および過去画像の位置および向きを示す模式図である。
【図１１】第４の実施形態に係る画像表示システムのブロック図である。
【図１２】位置および向きの分類基準を説明するための模式図である。
【図１３】第４の実施形態に係る画像表示方法のフローチャートを示す図である。
【図１４】第４の実施形態に係る画像表示方法のシーケンス図である。
【図１５】各実施形態に係る画像表示システムの概略構成図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。
【００１７】
（第１の実施形態）
図１は、本実施形態に係る画像表示システム１００の模式図である。画像表示システム１００は、携帯端末１１０と、サーバ１５０とを備える。携帯端末１１０およびサーバ１５０は、インターネット等のネットワーク１９０を介して、有線接続または無線接続によって接続される。画像表示システム１００は、その他のサーバ、端末等の機器を含んでよい。携帯端末１１０は、顧客により持ち運ばれ、カメラにより撮像する機能、およびサーバ１５０から取得した画像を表示する機能を有する端末である。サーバ１５０は、任意の場所に設置され、画像の記録および取得を行うサーバである。
【００１８】
図２は、本実施形態に係る携帯端末１１０およびサーバ１５０の概略構成図である。なお、携帯端末１１０およびサーバ１５０は、それぞれ単一の装置により構成されてよく、あるいは有線または無線で接続された２つ以上の物理的に分離された装置により構成されてよい。例えば、サーバ１５０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。例えば、携帯端末１１０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン等である。携帯端末１１０およびサーバ１５０の具体的なハードウェア構成は、以下の構成に限定されるものではなく、様々な種類、形態のものであってよい。
【００１９】
サーバ１５０は、プロセッサ１５１と、メモリ１５２と、記憶装置１５３とを有している。また、サーバ１５０は、高速インターフェースを含む高速コントローラ１５４、および低速インターフェースを含む低速コントローラ１５６を有している。高速コントローラ１５４には、メモリ１５２および高速拡張ポート１５５が接続されている。また、高速コントローラ１５４には、ディスプレイ１５８等の表示装置が接続されている。一方、低速コントローラ１５６には、低速拡張ポート１５７および記憶装置１５３が接続されている。
【００２０】
プロセッサ１５１、メモリ１５２、記憶装置１５３、高速コントローラ１５４、低速コントローラ１５６、および高速拡張ポート１５５は、種々のバスにより相互に接続されている。また、プロセッサ１５１、メモリ１５２、記憶装置１５３、高速コントローラ１５４、低速コントローラ１５６、および高速拡張ポート１５５は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。
【００２１】
プロセッサ１５１は、例えばＣＰＵ（Central  Processing  Unit）であり、サーバ１５０内で実行する命令を処理することができる。そのような命令には、ディスプレイ１５８等の表示装置上にＧＵＩ（Graphical  User  Interface）のグラフィック情報を表示するための、メモリ１５２内または記憶装置１５３内に格納された命令が含まれる。
【００２２】
また、複数のプロセッサ、複数のバス、または複数のプロセッサおよび複数のバスを、複数のメモリおよび複数のタイプのメモリとともに適宜使用することができる。また、複数のサーバ１５０を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のサーバ１５０を、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして互いに接続することができる。
【００２３】
メモリ１５２は、サーバ１５０内の情報を格納する。例えば、メモリ１５２は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ１５２は、他のコンピュータ読み取り可能な記録媒体であってよく、例えば、磁気ディスク、光ディスク等であってよい。
【００２４】
記憶装置１５３は、サーバ１５０用のマスストレージを構成することができる。記憶装置１５３は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ読み取り可能な記録媒体であるか、またはそのようなコンピュータ読み取り可能な記録媒体を含む。記憶装置１５３は、ストレージエリアネットワーク、他の構成の装置でもよい。
【００２５】
高速コントローラ１５４は、サーバ１５０に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１５６は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定されるものではない。また、高速コントローラ１５４の一部または全部は、プロセッサ１５１に内蔵されていてもよい。
【００２６】
高速コントローラ１５４は、メモリ１５２、および種々の拡張カードを受け入れることができる高速拡張ポート１５５に接続されている。また、高速コントローラ１５４は、例えばグラフィックスプロセッサまたはアクセラレータを介して、ディスプレイ１５８に接続されている。
【００２７】
低速コントローラ１５６は、記憶装置１５３および低速拡張ポート１５７に接続されている。低速拡張ポート１５７は、例えば、ＵＳＢ（Universal  Serial  Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線または無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１５７には、キーボード、ポインティングデバイス、スキャナ等の一または複数の入出力装置を接続することができる。また、低速拡張ポート１５７には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一または複数のネットワーク機器を接続することができる。すなわち、低速拡張ポート１５７は、通信インターフェースとして機能する。
【００２８】
サーバ１５０は、上述の形態に限られず、数多くの異なる形態で実施することができる。例えば、サーバ１５０は、標準的なサーバ、またはそのようなサーバのグループの形態の複数台で実施することができる。また、サーバ１５０は、ラックサーバシステムの一部としても実施することもできる。さらに、サーバ１５０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。
【００２９】
なお、サーバ１５０のプロセッサ１５１に実行させるプログラムの一部または全部は、これを記録したＤＶＤ−ＲＯＭ（Digital  Versatile  Disc-Read  Only  Memory）、ＣＤ−ＲＯＭ（Compact  Disc-Read  Only  Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。
【００３０】
携帯端末１１０は、プロセッサ１１１、メモリ１１２、ディスプレイ１１３、通信インターフェース１１４、カメラ１１５、および電子コンパス１１６を備える。携帯端末１１０は、追加のストレージとしてマイクロドライブ、フラッシュメモリ等の記憶装置を備えてよい。携帯端末１１０の各構成要素は、種々のバスを使用して相互接続される。携帯端末１１０の構成要素の少なくとも一部は共通のマザーボード上に取り付けられてよく、あるいは他の方法で取り付けられてよい。
【００３１】
プロセッサ１１１は、メモリ１１２内に格納されている命令を含む、携帯端末１１０内の命令を実行することができる。プロセッサ１１１は、１つまたは複数のアナログまたはデジタルプロセッサを備えるチップまたはチップセットとして実装されてよい。プロセッサ１１１は、携帯端末１１０の他の構成要素を制御し、例えばユーザインターフェースの表示、アプリケーションの実行、無線通信等を行う。
【００３２】
プロセッサ１１１は、ディスプレイ１１３に接続されている表示インターフェース１１９および入力インターフェース１２０を通じて、ユーザに対して情報の入出力を行うことができる。ディスプレイ１１３としては、例えば液晶ディスプレイ、有機ＥＬ（Electro  Luminescence）ディスプレイ等の任意の表示部を用いてよい。表示インターフェース１１９は、画像および他の情報をユーザに提示するようにディスプレイ１１３を駆動するために必要な回路を備える。また、ディスプレイ１１３はタッチパネルとして構成されており、ユーザによる操作を電気信号として出力する。入力インターフェース１２０は、ディスプレイ１１３上のユーザの操作を示す電気信号を受け取り、それらをプロセッサ１１１に送るために変換する。
【００３３】
メモリ１１２は、携帯端末１１０内の情報を格納する。メモリ１１２は、例えば、コンピュータ読み取り可能な記録媒体、揮発性メモリユニット、不揮発性メモリユニットまたはそれらの組み合わせである。メモリ１１２としては、例えば、フラッシュメモリ、ＮＶＲＡＭ（Non-Volatile  Random  Access  Memory）等を用いてよい。
【００３４】
カメラ１１５は、撮像結果の画像をデジタルデータとして出力する撮像部である。カメラ１１５として、ＣＣＤ（Charge  Coupled  Device）カメラ、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）カメラ等の任意の撮像装置を用いてよい。カメラ１１５は、撮像に必要な撮像素子、電気回路、レンズ等を含む。
【００３５】
電子コンパス１１６は、携帯端末１１０の向きを取得する向き取得部である。電子コンパス１１６として、地磁気センサ等の携帯端末１１０の向きを取得可能な任意の装置を用いてよい。
【００３６】
通信インターフェース１１４は、ＧＰＳ（Global  Positioning  System）受信機１１７および移動体通信機１１８に接続される。移動体通信機１１８は、ＧＳＭ（Global  System  for  Mobile  communications）方式等の音声通信、ＳＭＳ（Short  Message  Service）等のメッセージング、およびＣＤＭＡ（Code  Division  Multiple  Access）方式等のデータ通信を含む、任意のモードまたはプロトコルを用いて移動体通信を行う。移動体通信機１１８は、移動体通信に必要なプロセッサ、電気回路、アンテナ等を含む。
【００３７】
ＧＰＳ受信機１１７は、携帯端末１１０の位置を取得する位置取得部である。ＧＰＳ受信機１１７は、ＧＰＳから携帯端末１１０の位置を受信するのに必要なプロセッサ、電気回路、アンテナ等を含む。本実施形態では簡略化のために、位置として平面地図表示における水平方向の座標（所定の場所を原点としたｘ座標およびｙ座標）を用いるが、それに代えて緯度および経度等の任意の位置表現を用いてよい。さらに位置として、水平方向の座標に加えて高さを用いてよい。高さ（高度）は、ＧＰＳ信号に基づいて算出できる。これにより、高さ方向（例えば、ビル内の階層）の位置を区別することができ、後述の画像表示方法において水平方向の座標に加えて高さ毎に異なる画像を取得することが可能になる。
【００３８】
ＧＰＳでは、人工衛星からの信号に基づいて位置を算出するため、屋内において位置を取得できない場合がある。そのため、ＧＰＳに代えてまたは加えて、地上に設けられた送信機から送信された位置情報の信号を受信することによって位置を取得するＩＭＥＳ（Indoor  MEssaging  System）（非特許文献１）、あるいは無線ＬＡＮ（Local  Area  Network）を利用した測位技術等を用いてもよい。
【００３９】
携帯端末１１０は、音声インターフェース１２１を使用して音声で通信することができる。音声インターフェース１２１は、マイクおよびスピーカに接続される。音声インターフェース１２１は、マイクを通じてユーザから発話情報を受け取り、それをプロセッサ１１１が処理可能なデジタル情報に変換する。また、音声インターフェース１２１は、例えば、スピーカを通じてユーザに向けて可聴音を発生させることができる。音声インターフェース１２１が出力する音声は、音声通話からの音声、メモリ１１２に記録された音声(例えば、音声メッセージ、音楽ファイル等)、または携帯端末１１０上で動作するアプリケーションによって生成される音声を含む。
【００４０】
携帯端末１１０には、拡張インターフェース１２２および外部インターフェース１２３が設けられる。拡張インターフェース１２２には、例えば拡張メモリが接続される。拡張メモリは、携帯端末１１０に対する付加的なストレージとして機能し、携帯端末１１０で動作するプログラムまたは他の情報を格納してよい。また、拡張メモリはセキュア情報を格納してよく、その場合にはセキュリティモジュールとして機能する。
【００４１】
外部インターフェース１２３は、プロセッサ１１１と通信するように構成され、有線通信または無線通信を行うことができる。外部インターフェース１２３は、例えば携帯端末１１０と他のデバイスとの間でＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信や無線ＬＡＮ等の無線通信を行う。外部インターフェース１２３として、複数のインターフェースが組み合わせて用いられてもよい。
【００４２】
図３は、携帯端末１１０を有するユーザの位置を示す模式図である。ユーザは、位置Ａ１において、特定の向きＡ２に携帯端末１１０のカメラ１１５を向ける。この状態で、携帯端末１１０はディスプレイ１１３上に、カメラ１１５により撮像された画像（現在画像という）を逐次表示する。ユーザは通常カメラ１１５を前方に構えて撮像を行うため、現在画像の撮像範囲は携帯端末１１０を有するユーザの現在の視野に対応する。以下では、ユーザがカメラ１１５を前方に構えた状態における携帯端末１１０の位置および向きを、携帯端末１１０の現在の位置および向きという。また、ユーザが携帯端末１１０で所定の操作を行うと、携帯端末１１０はディスプレイ１１３上に、現在画像に類似する場所を過去に撮像した画像（過去画像という）を表示する。
【００４３】
図４は、現在画像Ｂ１を表示している携帯端末１１０のディスプレイ１１３の前面図である。本実施形態に係る画像表示プログラムが起動されると、携帯端末１１０は図４のようにディスプレイ１１３上に現在画像を表示している状態になる。ディスプレイ１１３は、現在画像Ｂ１、現在画像であることを示す文字列Ｂ４、および過去画像を表示するためのボタンＢ５を表示する。
【００４４】
現在画像Ｂ１は、所定の時間毎（例えば１／３０秒毎）にカメラ１１５により撮像された画像に更新される。現在画像Ｂ１内には、例えば物体Ｂ２および物体Ｂ３の像が含まれている。
【００４５】
ボタンＢ５はディスプレイ１１３に表示された仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。ユーザによりボタンＢ５が押下されると、携帯端末１１０は図５のようにディスプレイ１１３上に過去画像を表示している状態に遷移する。
【００４６】
図５は、過去画像Ｃ１を表示している携帯端末１１０のディスプレイ１１３の前面図である。ディスプレイ１１３は、過去画像Ｃ１、過去画像Ｃ１の撮像時刻を示す文字列Ｃ３、および現在画像を表示するためのボタンＣ４を表示する。
【００４７】
過去画像Ｃ１は、サーバ１５０から受信した、現在画像Ｂ１に類似する場所を過去に撮像した画像である。過去画像Ｃ１の選択方法については後述する。過去画像Ｃ１内には、現在画像Ｂ１中の物体Ｂ２に対応する物体Ｃ２の像が含まれているが、物体Ｂ３に対応する物体の像が含まれていない。ユーザは、現在画像Ｂ１および過去画像Ｃ１を見比べることによって、現在画像Ｂ１中の物体Ｂ３は新たに配置されており、不審物の可能性があると判断することができる。
【００４８】
ボタンＣ４はディスプレイ１１３に表示された仮想的なボタンであり、ユーザがタッチパネル等を操作することによって押下可能である。ユーザによりボタンＣ４が押下されると、携帯端末１１０は図４のようにディスプレイ１１３上に現在画像を表示している状態に遷移する。
【００４９】
図６は、本実施形態に係る画像表示システム１００のブロック図である。図６において、矢印は主なデータの流れを示しており、図６に示したもの以外のデータの流れがあってよい。図６において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。
【００５０】
携帯端末１１０は、現在画像表示部１１０１、情報取得部１１０２および過去画像表示部１１０３を備える。携帯端末１１０において、現在画像表示部１１０１、情報取得部１１０２および過去画像表示部１１０３は、それぞれプロセッサ１１１が実行可能なプログラムとしてメモリ１１２に記憶されている。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１１１は現在画像表示部１１０１、情報取得部１１０２および過去画像表示部１１０３として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。
【００５１】
サーバ１５０は、類似度算出部１５０１、画像記憶部１５０２および画像取得部１５０３を備える。サーバ１５０において、類似度算出部１５０１および画像取得部１５０３は、プロセッサ１５１が実行可能なプログラムとしてメモリ１５２または記憶装置１５３に記憶されている。また、画像記憶部１５０２は、メモリ１５２または記憶装置１５３の一部である。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１５１は類似度算出部１５０１および画像取得部１５０３として機能し、メモリ１５２または記憶装置１５３は画像記憶部１５０２として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。
【００５２】
現在画像表示部１１０１は、ディスプレイ１１３上に、カメラ１１５が現在撮像している内容を現在画像として表示する。現在画像表示部１１０１は、所定の時間毎（例えば１／３０秒毎）に表示中の現在画像を更新する。
【００５３】
情報取得部１１０２は、ユーザによる所定の操作（例えば図４のボタンＢ５の押下）を検知したことを契機として、ＧＰＳ受信機１１７によって、携帯端末１１０の現在の位置を取得する。本実施形態では簡略化のために、位置として平面地図表示における水平方向の座標（所定の場所を原点としたｘ座標およびｙ座標）を用いる。それに代えて、位置として緯度および経度等の任意の位置表現を用いてよい。さらに位置として、水平方向の座標に加えて高さを用いてよい。同時に、情報取得部１１０２は、電子コンパス１１６によって、携帯端末１１０の現在の向きを取得する。向きとは、カメラ１１５が撮像している方向である。本実施形態では簡略化のために、向きとして地面に水平な方向の角度（方位角）を用いる。方位角に加えて、向きとして地面に垂直な方向の角度（仰俯角）を用いてよい。その後、情報取得部１１０２は、移動体通信機１１８を用いて、取得した現在の位置および向きを含む情報をサーバ１５０に送信する。
【００５４】
画像記憶部１５０２は、過去画像と、該過去画像の撮像範囲の位置および向きとを予め記録している。以下では、過去画像の撮像範囲の位置および向きを、単に過去画像の位置および向きという。画像記憶部１５０２は、過去画像を電子データである画像ファイルとして記録する。各過去画像には一意の識別子（例えばファイル名）が付与されている。画像記憶部１５０２は、過去画像の位置および向きを、該過去画像の識別子に関連付けて、例えばデータベースのテーブルとして記録する。
【００５５】
類似度算出部１５０１は、携帯端末１１０から受信した現在の位置および向き、ならびに画像記憶部１５０２に予め記録されている過去画像に関連付けられた位置および向きを用いて、所定の算出基準に基づいて、それらの間の類似性を示す類似度を算出する。
【００５６】
類似度算出部１５０１による類似度の算出方法を以下に説明する。類似度算出部１５０１は、画像記憶部１５０２に予め記録されているそれぞれの過去画像について、式（１）を用いて類似度Ｓを算出する。
【００５７】
【数１】
2017146162.tif 000003
【００５８】
Ｐ０は現在の向きであり、Ｐは過去画像の向きである。Ｑ０は現在の位置であり、Ｑは過去画像の位置である。αは向きおよび位置の重み付けを調節するための重み係数である。本実施形態では向きは方位角により表されるため、Ｐ０およびＰは角度である。本実施形態では位置はｘｙ座標により表されるため、Ｑ０およびＱはそれぞれ２次元座標であり、（Ｑ０−Ｑ）２は現在の位置と過去画像の位置との間の距離の２乗を意味する。
【００５９】
式（１）より、類似度Ｓは、対象の過去画像の位置および向きが、携帯端末１１０の現在の位置および向きに近いほど低い値となる。すなわち、類似度Ｓは、対象の過去画像と携帯端末との間の位置および向きの類似性を示す指標である。ここに示す類似度Ｓの定義は一例であり、現在の位置および向きと過去画像の位置および向きとの類似性を表す任意の定義を用いてよい。式（１）では類似度Ｓが低いほど類似性が高いが、逆になるように類似度Ｓが定義されもよい。
【００６０】
類似度算出部１５０１は、画像記憶部１５０２に記録されている全ての過去画像について類似度Ｓを算出してよく、あるいは条件を満たす一部の過去画像について類似度Ｓを算出してよい。例えば、携帯端末１１０の現在の位置との距離が所定値以下の位置を有する過去画像のみを類似度Ｓの計算対象とすることによって、計算量を低減することができる。
【００６１】
画像取得部１５０３は、画像記憶部１５０２から、類似度Ｓを算出した過去画像のうち、類似度Ｓが最も小さい（すなわち類似性が最も高い）１つの過去画像、あるいは類似度Ｓが小さい順（すなわち類似性が高い順）に所定の数の過去画像を取得する。その後、画像取得部１５０３は、通信インターフェースを用いて、取得した過去画像を携帯端末１１０に送信する。
【００６２】
過去画像表示部１１０３は、ディスプレイ１１３上に、サーバ１５０から受信した過去画像を表示する。サーバ１５０から複数の過去画像を受信する場合には、過去画像表示部１１０３は、そのうち１つ（例えば、類似度Ｓが最も小さいもの）の過去画像を表示し、ユーザの操作に応じて別の過去画像に切替えて表示してよい。また、過去画像表示部１１０３は、複数の過去画像のうち１つ（例えば、類似度Ｓが最も小さいもの）を大きい画像として表示し、残りをそれよりも小さい画像として表示してよい。
【００６３】
画像記憶部１５０２に記録されている過去画像として、位置および向き毎に記録された過去画像だけでなく、より広い角度範囲について撮像されたパノラマ画像を用いてよい。パノラマ画像は、１つの位置において一般的なカメラ１１５の撮像範囲よりも広い角度範囲を撮像したもの、あるいは３６０度の全範囲を撮像したものを含む。パノラマ画像は、例えば同じ位置において異なる向きで撮像した複数の画像を合成することによって作製される。類似度算出部１５０１は、携帯端末１１０の現在の位置に近いパノラマ画像が存在する場合に、該パノラマ画像から携帯端末１１０の現在の向きに対応する方向の一部を切り出したものを、過去画像として選択してよい。また、類似度算出部１５０１は、該パノラマ画像の全部を過去画像として選択してもよい。その場合には、過去画像表示部１１０３は受信したパノラマ画像のうち、携帯端末１１０の現在の向きに対応する方向の部分を表示してよい。
【００６４】
このように位置だけでなく向きを用いて過去画像の選択をすることによって、携帯端末１１０は、カメラ１１５の現在の撮像範囲（すなわち、ユーザの視野）に対応する過去画像を容易に表示することができる。
【００６５】
図７は、本実施形態に係る画像表示方法のフローチャートを示す図である。図８は、本実施形態に係る画像表示方法のシーケンス図である。画像表示方法は、携帯端末１１０およびサーバ１５０により協同して行われる。画像表示方法は、例えば携帯端末１１０上で現在画像を表示するためのボタン押下等の所定の操作が検知された場合に開始される。
【００６６】
まず、現在画像表示部１１０１は、ディスプレイ１１３上に、カメラ１１５が現在撮像している内容を現在画像として表示する（ステップＳ１１）。携帯端末１１０上で過去画像を表示するためのボタン押下等の所定の操作が検出されない場合に（ステップＳ１２のＮＯ）、携帯端末１１０は、所定の時間毎にステップＳ１１を繰り返す。
【００６７】
携帯端末１１０上で過去画像を表示するための所定の操作が検出された場合に（ステップＳ１２のＹＥＳ）、情報取得部１１０２は、ＧＰＳ受信機１１７によって携帯端末１１０の現在の位置を取得するとともに、電子コンパス１１６によって携帯端末１１０の現在の向きを取得する（ステップＳ１３）。情報取得部１１０２は、移動体通信機１１８を用いて、取得した現在の位置および向きを含む情報をサーバ１５０に送信する。
【００６８】
類似度算出部１５０１は、携帯端末１１０から受信した現在の位置および向きを用いて、例えば上述の式（１）に基づいて、画像記憶部１５０２に予め記録されている各過去画像に対する類似度Ｓを算出する（ステップＳ１４）。
【００６９】
画像取得部１５０３は、画像記憶部１５０２から、ステップＳ１４で類似度Ｓを算出した過去画像のうち、類似度Ｓが最も小さい１つの過去画像、あるいは類似度Ｓが小さい順に所定の数の過去画像を取得する（ステップＳ１５）。画像取得部１５０３は、通信インターフェースを用いて、取得した過去画像を携帯端末１１０に送信する。
【００７０】
過去画像表示部１１０３は、ディスプレイ１１３上に、サーバ１５０から受信した１つまたは複数の過去画像を表示する（ステップＳ１６）。
【００７１】
携帯端末１１０のプロセッサ１１１およびサーバ１５０のプロセッサ１５１は、図７に示す画像表示方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１１およびプロセッサ１５１は、図７に示す画像表示方法を実行するためのプログラムをメモリ１１２、メモリ１５２または記憶装置１５３から読み出し、該プログラムを実行して携帯端末１１０およびサーバ１５０の各部を制御することによって図７に示す画像表示方法を実行する。
【００７２】
本実施形態に係る画像表示システム１００によれば、携帯端末１１０は、カメラ１１５を向けるだけで、カメラ１１５の現在の撮像範囲に類似する場所を撮像した過去画像を容易に表示することができる。特許文献１に記載された技術のように位置だけを用いて画像を取得する場合には、同じ位置で様々な方向を撮像した画像の区別ができないため、ユーザの現在の視野に対応する画像を選択することはできない。それに対して、本実施形態に係る画像表示システム１００は、携帯端末１１０の位置だけでなく向きを用いて類似度を算出して過去画像を取得するため、カメラ１１５の現在の撮像範囲、すなわちユーザの視野に対応する過去画像を表示することができる。
【００７３】
本実施形態に係る画像表示システム１００を警備に用いる場合には、ユーザの現在の視野に対応する過去画像を素早くかつ正確に取得し、現在の状態と過去の状態を比較して容易に不審物の検知を行うことができる。
【００７４】
本実施形態に係る画像表示システム１００を、警備に限られず、観光の用途に応用することができる。過去画像としてその景色に対応する様々な季節および年月の画像を記録しておくことによって、同じ景色について様々な季節または様々な時代の過去画像をユーザに提供することができる。また、過去画像としてその景色に関連付けられた絵画（風景画）を記録しておくことによって、その景色が描かれた絵画をユーザに提供することができる。この場合には、過去画像に関連付けられた位置および向きとして、絵画の描画範囲の位置および向きを用いればよい。このように、画像表示システム１００は、特定の場所、すなわち特定の位置および向きに関連付けられた画像を、容易にかつ正確に表示することができる。
【００７５】
（第２の実施形態）
本実施形態は、より正確にカメラ１１５の現在の撮像範囲、すなわちユーザの視野に対応する過去画像を表示するための方法を提供する。本実施形態に係る画像表示システム１００の構成は、第１の実施形態と同様であり、類似度の算出方法のみが異なる。図９は、現在画像および過去画像の位置および向きを示す模式図である。図９において、現在画像および過去画像の位置および向きは、任意の点を原点とするｘｙ平面上にそれぞれ矢印として表される。矢印の位置は現在画像または過去画像の位置を示し、矢印の方向は現在画像または過去画像の向きを示す。ここでは、ｙ軸の正方向を北方向とする。
【００７６】
現在画像Ｄ１の向きは北方向であり、第１の過去画像Ｄ２の向きは西方向であり、第２の過去画像Ｄ３の向きは北方向である。現在画像Ｄ１の位置と第１の過去画像Ｄ２の位置との間の距離は、現在画像Ｄ１の位置と第２の過去画像Ｄ３の位置との間の距離よりも短い。本実施形態に係る画像表示システム１００は、第１の過去画像Ｄ２よりも第２の過去画像Ｄ３が現在画像Ｄ１に類似すると判定する。換言すると、本実施形態に係る類似度の算出では、位置の近さよりも、向きの近さに重みを置く。
【００７７】
具体的には、類似度算出部１５０１は、上述の式（１）において重み係数αを１より大きい値に設定して、類似度Ｓを算出する。重み係数αの具体的な数は、実験や計算により決定されてよい。これにより、向きのずれ（Ｐ０−Ｐ）が、位置のずれ（Ｑ０−Ｑ）よりも、類似性に大きく影響するように重み付けられた類似度Ｓが算出される。式（１）より、現在の向きと過去画像の向きとのずれ（Ｐ０−Ｐ）が小さいほど、類似度Ｓが小さく、すなわち類似性が高くなる。
【００７８】
現在の位置および向きに基づいて過去画像を取得するにあたって、向きが大きく異なっていると、位置が近くても、撮像した画像には共通の領域が含まれる可能性が小さい。それに対して、向きが近似していると、位置が遠くても、撮像した画像には共通の領域が含まれる可能性が大きい。そのため、本実施形態では、位置よりも向きを優先するように重み付けを行って類似度の算出を行うことによって、ユーザの現在の視野に対応する過去画像をより正確に取得することができる。
【００７９】
（第３の実施形態）
本実施形態は、より正確にカメラ１１５の現在の撮像範囲、すなわちユーザの視野に対応する過去画像を表示するための方法を提供する。本実施形態に係る画像表示システム１００の構成は、第１の実施形態と同様であり、類似度の算出方法のみが異なる。図１０は、現在画像および過去画像の位置および向きを示す模式図である。図１０において、現在画像および過去画像の位置および向きは、任意の点を原点とするｘｙ平面上にそれぞれ矢印として表される。矢印の位置は現在画像または過去画像の位置を示し、矢印の方向は現在画像または過去画像の向きを示す。ここでは、ｙ軸の正方向を北方向とする。
【００８０】
現在画像Ｅ１、第１の過去画像Ｅ２および第２の過去画像Ｅ３の向きは全て北方向である。第１の過去画像Ｅ２の位置は、現在画像Ｅ１の位置からｘ軸に沿った正方向にずれている。第２の過去画像Ｅ３の位置は、現在画像Ｅ１の位置からｙ軸に沿った負方向にずれている。現在画像Ｅ１の位置と第１の過去画像Ｅ２との間の距離は、現在画像Ｅ１の位置と第２の過去画像Ｅ３の位置との間の距離よりも短い。本実施形態に係る画像表示システム１００は、第１の過去画像Ｅ２よりも第２の過去画像Ｅ３が現在画像Ｅ１に類似すると判定する。換言すると、本実施形態に係る類似度の算出では、現在の向きに垂直な方向（図１０のｘ軸方向）のずれよりも、現在の向きに沿った方向（図１０のｙ軸方向）のずれを許容する。
【００８１】
具体的には、上述の式（１）を拡張した以下の式（２）により、類似度Ｓを算出する。ここでは簡略化のために、現在の向きがｙ軸方向となるように、ｘ軸およびｙ軸が定義される。
【００８２】
【数２】
2017146162.tif 000004
【００８３】
Ｐ０は現在の向きであり、Ｐは過去画像の向きである。Ｑ０ｘは現在の位置のｘ座標であり、Ｑｘは過去画像の位置のｘ座標である。Ｑ０ｙは現在の位置のｙ座標であり、Ｑｙは過去画像の位置のｙ座標である。αは向きおよび位置の重み付けを調節するための重み係数であり、βはｘ方向およびｙ方向の位置の重み付けを調節するための重み係数である。重み係数βは、１より大きい数である。重み係数βの具体的な数は、実験や計算により決定されてよい。
【００８４】
式（２）より、類似度Ｓは、対象の過去画像の位置および向きが、携帯端末１１０の現在の位置および向きと近いほど低い値となる。さらに、類似度Ｓは、現在の向きに垂直な方向（ｘ軸方向）に沿った位置のずれ（Ｑ０ｘ−Ｑｘ）に比べて、現在の向きに沿った方向（ｙ軸方向）の位置のずれ（Ｑ０ｙ−Ｑｙ）が許容された値となる。換言すると、現在の向きに垂直な方向の位置のずれが、現在の向きに沿った方向の位置のずれよりも、類似性に大きく影響するように重み付けられた類似度Ｓが算出される。式（２）より、現在の向きに垂直な方向の位置のずれ（Ｑ０ｘ−Ｑｘ）が小さいほど、類似度Ｓが小さく、すなわち類似性が高くなる。
【００８５】
現在の位置および向きに基づいて過去画像を取得するにあたって、現在画像および過去画像の位置が、現在の向きに対して垂直な方向（図１０のｘ軸方向）に異なっている場合には、現在画像および過去画像の中心に大きなずれが生じる。そのため、現在画像と過去画像との間で共通しない領域が大きくなる。それに対して、現在画像および過去画像の位置が、現在の向きに沿った方向（図１０のｙ軸方向）に異なっている場合には、現在画像および過去画像の中心は近似するため、現在画像と過去画像との間で共通する領域が大きい。そのため、ユーザの現在の視野に近い過去画像を表示し、現在画像に含まれる多くの領域について過去画像との比較ができる。
【００８６】
さらに、現在の向きに沿った方向（図１０のｙ軸方向）の後方へのずれを許容するように類似度を算出することがより好ましい。具体的には、上述の式（２）を拡張した以下の式（３）により、類似度Ｓを算出する。ここでは簡略化のために、現在の向きがｙ軸方向となるように、ｘ軸およびｙ軸が定義される。
【００８７】
【数３】
2017146162.tif 000005
【００８８】
式（２）と同様の定義に加え、ｏｆｆｓｅｔは０より大きい定数値である。定数値ｏｆｆｓｅｔは、現在の位置よりも過去画像の位置がどの程度後方であると最も好ましいかを示す値である。すなわち、過去画像の位置が、現在の位置よりも定数値ｏｆｆｓｅｔ分だけ後方である場合に、類似度Ｓは極小となる。そのため、過去画像の位置が、現在の位置から現在の向きに沿った方向の前方である場合よりも、現在の位置から現在の向きに沿った方向の後方である場合に、類似性が高いように類似度Ｓが算出される。
【００８９】
式（３）では、特に過去画像の位置が、現在の位置よりも、現在の向きに沿った方向の後方（図１０のｙ軸に沿った負方向）である場合に類似度Ｓが小さくなる。過去画像の位置が現在の位置よりも後方である場合に、過去画像に現在画像中のより多くの領域が含まれる。そのため、ユーザの現在の視野により近い過去画像を表示し、現在画像に含まれるより多くの領域について過去画像との比較ができる。
【００９０】
（第４の実施形態）
本実施形態は、第１の実施形態と異なる方法により過去画像を表示する。図１１は、本実施形態に係る画像表示システム２００のブロック図である。図１１において、矢印は主なデータの流れを示しており、図１１に示したもの以外のデータの流れがあってよい。図１１において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。画像表示システム２００は、第１の実施形態と同様の装置構成を備える。すなわち、携帯端末２１０は図２の携帯端末１１０と同様の装置構成を備え、サーバ２５０は図２のサーバ１５０と同様の装置構成を備える。
【００９１】
携帯端末２１０は、現在画像表示部２１０１、情報取得部２１０２、情報分類部２１０３、類似度算出部２１０４および過去画像表示部２１０５を備える。携帯端末２１０において、現在画像表示部２１０１、情報取得部２１０２、情報分類部２１０３、類似度算出部２１０４および過去画像表示部２１０５は、それぞれプロセッサ１１１が実行可能なプログラムとしてメモリ１１２に記憶されている。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１１１は現在画像表示部２１０１、情報取得部２１０２、情報分類部２１０３、類似度算出部２１０４および過去画像表示部２１０５として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。
【００９２】
サーバ２５０は、候補画像取得部２５０１、画像記憶部２５０２および画像取得部２５０３を備える。サーバ２５０において、候補画像取得部２５０１および画像取得部２５０３は、プロセッサ１５１が実行可能なプログラムとしてメモリ１５２または記憶装置１５３に記憶されている。また、画像記憶部２５０２は、メモリ１５２または記憶装置１５３の一部である。すなわち、本実施形態に係る画像表示方法の実行時に、プロセッサ１５１は候補画像取得部２５０１および画像取得部２５０３として機能し、メモリ１５２または記憶装置１５３は画像記憶部２５０２として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。
【００９３】
現在画像表示部２１０１は、ディスプレイ１１３上に、カメラ１１５が現在撮像している内容を現在画像として表示する。現在画像表示部２１０１は、所定の時間毎（例えば１／３０秒毎）に表示中の現在画像を更新する。
【００９４】
情報取得部２１０２は、ユーザによる所定の操作（例えば図４のボタンＢ５の押下）を検知したことを契機として、ＧＰＳ受信機１１７によって携帯端末２１０の現在の位置を取得するとともに、電子コンパス１１６によって携帯端末２１０の現在の向きを取得する。位置および向きの定義は第１の実施形態と同様である。
【００９５】
情報分類部２１０３は、所定の時間毎（例えば１／３０秒毎）に、情報取得部２１０２により取得された現在の位置および向きを、所定の分類基準に基づいて分類する。図１２は、位置および向きの分類基準を説明するための模式図である。位置および向きの分類は、セルＦおよびセル内方位Ｇの組み合わせにより表される。セルＦは、平面地図を縦横方向のそれぞれについて所定の長さ毎に区切った矩形領域である。セル内方位Ｇは、全３６０度の方位角を４５度毎に区切った８方向である。
【００９６】
情報分類部２１０３は、現在の位置がいずれのセルＦに含まれ、かつ現在の向きがいずれのセル内方位Ｇに最も近いかを判定する。現在の位置がいずれのセルＦに含まれるかは、現在の位置を示す座標がセルＦの中に入っているか否かにより判定される。現在の位置が複数のセルＦの境界上である場合には、該複数のセルＦから選択された１つのセルＦに現在の位置が含まれると判定されてよい。
【００９７】
情報分類部２１０３は、前回判定された現在の位置および向きの分類から今回判定された現在の位置および向きの分類が変化した場合に、移動体通信機１１８を用いて、現在の位置および向きの分類をサーバ２５０に送信する。換言すると、現在の位置および向きの分類が変化したタイミングでのみ、携帯端末２１０は現在の位置および向きの分類をサーバ２５０に送信する。これにより、位置および向きの情報を送受信する頻度を低減できるため、通信量を低減することができる。
【００９８】
ここに示した位置および向きの分類基準は一例である。セル内方位Ｇとして、８方向に限られず、任意の数の方位を用いてよい。ユーザの視野に対応する過去画像を適切に選択するためには、セル内方位Ｇとして少なくとも全３６０度の方位角を９０度毎に区切った４方向を用いることが望ましい。セルＦとして、縦横方向の長さにより区分した矩形領域に限られず、その他の形状の領域や、番地等の住所毎に区分した領域を用いてもよい。
【００９９】
画像記憶部２５０２は、過去画像と、該過去画像の撮像範囲の位置および向きと、該位置および向きの分類とを予め記録している。サーバ２５０における過去画像の位置および向きの分類基準は、携帯端末２１０における現在の位置および向きの分類基準と同一である。すなわち、サーバ２５０と携帯端末２１０との間で予め分類基準が統一されている。画像記憶部２５０２は、過去画像を電子データである画像ファイルとして記録する。各過去画像には一意の識別子（例えばファイル名）が付与されている。画像記憶部２５０２は、過去画像の位置および向きを、上述の分類基準に基づいて、セルＦおよびセル内方位Ｇの組み合わせを用いて分類する。そして、画像記憶部２５０２は、過去画像の位置および向きとその分類（すなわちセルＦおよびセル内方位Ｇの組み合わせ）とを、該過去画像の識別子に関連付けて、例えばデータベースのテーブルとして記録する。
【０１００】
候補画像取得部２５０１は、画像記憶部２５０２から、携帯端末２１０から受信した現在の位置および向きの分類と同じ分類に属する１つまたは複数の過去画像を候補画像として決定する。その後、候補画像取得部２５０１は、通信インターフェースを用いて、決定した候補画像の識別子、位置および向きを携帯端末２１０に送信する。候補画像の識別子、位置および向きは、携帯端末２１０から現在の位置および向きの分類を受信したことに応じて（すなわち、現在の位置および向きの分類が変化したタイミングで）、携帯端末２１０に逐次送信される。
【０１０１】
ＧＰＳから取得した位置には誤差があるため、現在の位置または過去画像の位置がセルＦの境界付近である場合に、それらは誤って本来の位置とは異なるセルＦに分類されてしまう可能性がある。また、現在の位置がセルＦの境界付近である場合には、そのセルＦ内の過去画像よりも隣接するセルＦ内の過去画像の方が、現在の撮像範囲に類似する可能性がある。これを解決するために、第１の方法として、隣接するセルＦ同士の間に重複部分を設け、候補画像取得部２５０１は、セルＦに重複部分を加えた範囲に属する過去画像を候補画像として取得してよい。その場合には、１つの過去画像は複数のセルＦに分類され得る。第２の方法として、候補画像取得部２５０１は、現在の位置が属するセルＦに加えて、それに隣接するセルＦ（すなわち、上下左右に位置する４つのセルＦ、あるいは上下左右および斜めに位置する８つのセルＦ）に属する過去画像を候補画像として取得してよい。これらの方法によれば、現在の位置および向きを、セルＦだけでなくその周辺に存在する過去画像の位置および向きと比較ができるため、現在の位置および向きにより類似する過去画像を取得することができる。
【０１０２】
類似度算出部２１０４は、ユーザによる所定の操作（例えば図４のボタンＢ５の押下）を検知したことを契機として、情報取得部２１０２により取得された現在の位置および向きを用いて、所定の算出基準に基づいて、サーバ２５０から受信した候補画像の位置および向きに対する類似度を算出する。類似度算出部２１０４による類似度の算出方法として、上述の式（１）〜（３）のいずれかを用いてよい。類似度算出部２１０４は、候補画像のうち、類似度Ｓが最も小さい１つの過去画像、あるいは類似度Ｓが小さい順に所定の数の過去画像を選択する。その後、類似度算出部２１０４は、移動体通信機１１８を用いて、選択した過去画像の識別子をサーバ２５０に送信する。
【０１０３】
画像取得部２５０３は、画像記憶部２５０２から、携帯端末２１０から受信した識別子を有する過去画像を取得する。その後、画像取得部２５０３は、通信インターフェースを用いて、取得した過去画像を携帯端末２１０に送信する。
【０１０４】
過去画像表示部２１０５は、ディスプレイ１１３上に、サーバ２５０から受信した過去画像を表示する。サーバ２５０から複数の過去画像を受信する場合には、過去画像表示部２１０５は、そのうち１つ（例えば、類似度Ｓが最も小さいもの）の過去画像を表示し、ユーザの操作に応じて別の過去画像に切替えて表示してよい。また、過去画像表示部２１０５は、複数の過去画像のうち１つ（例えば、類似度Ｓが最も小さいもの）を大きい画像として表示し、残りをそれよりも小さい画像として表示してよい。
【０１０５】
別の方法として、候補画像取得部２５０１は、候補画像の識別子ではなく、候補画像そのものを携帯端末２１０に送信してよい。この場合には、類似度算出部２１０４および画像取得部２５０３は省略されてよい。過去画像表示部２１０５は、複数の候補画像のうち１つ（例えば、撮像時刻が現在に最も近いもの）を表示し、ユーザの操作に応じて別の候補画像に切替えて表示してよい。また、過去画像表示部２１０５は、複数の候補画像のうち１つ（例えば、撮像時刻が現在に最も近いもの）を大きい画像として表示し、残りをそれよりも小さい画像として表示してよい。
【０１０６】
図１３は、本実施形態に係る画像表示方法のフローチャートを示す図である。図１４は、本実施形態に係る画像表示方法のシーケンス図である。画像表示方法は、携帯端末２１０およびサーバ２５０により協同して行われる。画像表示方法は、例えば携帯端末２１０上で現在画像を表示するためのボタン押下等の所定の操作が検知された場合に開始される。
【０１０７】
まず、現在画像表示部２１０１は、ディスプレイ１１３上に、カメラ１１５が現在撮像している内容を現在画像として表示する（ステップＳ２１）。情報取得部２１０２は、ＧＰＳ受信機１１７によって携帯端末２１０の現在の位置を取得するとともに、電子コンパス１１６によって携帯端末２１０の現在の向きを取得する（ステップＳ２２）。情報分類部２１０３は、ステップＳ２２で取得された現在の位置および向きを、上述の分類基準に基づいて分類する（ステップＳ２３）。ステップＳ２１とステップＳ２２〜Ｓ２３とは、並行して行われてもよい。
【０１０８】
ステップＳ２３で取得された位置および向きの分類が、前回取得された位置および向きの分類とは異なる場合に（あるいは最初にこのフローチャートが実行される場合に）（ステップＳ２４のＹＥＳ）、情報分類部２１０３は、移動体通信機１１８を用いて、ステップＳ２３で取得された位置および向きの分類をサーバ２５０に送信する。そして、候補画像取得部２５０１は、画像記憶部２５０２から、携帯端末２１０から受信した現在の位置および向きの分類と同じ分類に属する１つまたは複数の過去画像を候補画像として決定する（ステップＳ２５）。候補画像取得部２５０１は、通信インターフェースを用いて、決定した候補画像の識別子、位置および向きを含む候補画像に係る情報を携帯端末２１０に送信する。一方、ステップＳ２３で取得された位置および向きの分類が、前回取得された位置および向きの分類と同じである場合には（ステップＳ２４のＮＯ）、情報分類部２１０３は位置および向きの分類の送信を行わず、ステップＳ２５をスキップする。
【０１０９】
その後、携帯端末２１０上で過去画像を表示するためのボタン押下等の所定の操作が検出されない場合に（ステップＳ２６のＮＯ）、携帯端末２１０は、所定の時間毎にステップＳ２１〜Ｓ２５を繰り返す。
【０１１０】
携帯端末２１０上で過去画像を表示するための所定の操作が検出された場合に（ステップＳ２６のＹＥＳ）、類似度算出部２１０４は、ステップＳ２２で取得された現在の位置および向きと、サーバ２５０から受信した候補画像の位置および向きとを用いて、例えば上述の式（１）〜式（３）のいずれかに基づいて、それぞれの候補画像に対する類似度Ｓを算出する（ステップＳ２７）。類似度算出部２１０４は、候補画像のうち、類似度Ｓが最も小さい１つの候補画像、あるいは類似度Ｓが小さい順に所定の数の候補画像を、表示対象の過去画像として選択する。類似度算出部２１０４は、移動体通信機１１８を用いて、表示対象の過去画像の識別子をサーバ２５０に送信する。
【０１１１】
画像取得部２５０３は、画像記憶部２５０２から、携帯端末２１０から受信した識別子を有する過去画像を取得する（ステップＳ２８）。画像取得部２５０３は、通信インターフェースを用いて、取得した過去画像を携帯端末２１０に送信する。
【０１１２】
過去画像表示部２１０５は、ディスプレイ１１３上に、サーバ２５０から受信した１つまたは複数の過去画像を表示する（ステップＳ２９）。
【０１１３】
携帯端末２１０のプロセッサ１１１およびサーバ１５０のプロセッサ１５１は、図１３に示す画像表示方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１１およびプロセッサ１５１は、図１３に示す画像表示方法を実行するためのプログラムをメモリ１１２、メモリ１５２または記憶装置１５３から読み出し、該プログラムを実行して携帯端末２１０およびサーバ２５０の各部を制御することによって図１３に示す画像表示方法を実行する。
【０１１４】
本実施形態に係る画像表示システム２００によれば、第１の実施形態と同様の効果に加えて、位置および向きのタイミングが変化したタイミングでのみ位置および向きの情報の送受信を行うため、通信量を低減することができる。さらに、類似度Ｓの計算対象を同じ分類に属する過去画像に限定するため、計算量を低減することができる。
【０１１５】
（第５の実施形態）
第１の実施形態に係る画像表示システム１００は、現在画像および過去画像の内容や位置および向きの条件を学習するようにさらに構成されてよい。
【０１１６】
本実施形態では、図６の構成において、画像取得部１５０３は、ユーザが過去画像を表示する操作を行う度（すなわち、情報取得部１１０２から位置および向きを受信する度）に、その時の位置および向きをメモリ１５２または記憶装置１５３に記録しておく。
【０１１７】
画像取得部１５０３は、過去に過去画像を表示する操作が行われた時の位置および向きから、次に過去画像を表示する操作が行われる際の位置および向きを予測して、該予測した位置および向きから１つまたは複数の過去画像を予め取得し、メモリ１５２上に読み出しておく。すなわち、画像取得部１５０３は、次に読み出される蓋然性の高い過去画像を予めメモリ１５２上にプリロードする。
【０１１８】
画像取得部１５０３は、既知の学習方法に基づいて、過去に過去画像を表示する操作が行われた時の位置および向きを用いて予測モデルを作製してよい。そして、画像取得部１５０３は、作製した予測モデルから、次に読み出される蓋然性の高い過去画像を選択する。例えば、１つの位置において複数の向きについて過去画像が読み出されることが学習された場合には、ある位置および向きで過去画像を表示する操作が行われた時に、同じ位置であって他の向きの過去画像を予めメモリ１５２上に読み出す。１つの向きに対して複数の位置で過去画像が読み出されることが学習された場合には、ある位置および向きで過去画像を表示する操作が行われた時に、それと同じ向きであって近い位置の過去画像を予めメモリ１５２上に読み出す。これにより、次に過去画像を表示する操作が行われる際に、現在の位置および向きと予測した位置および向きとが同一または近似している場合に、先にメモリ１５２上に読み出された過去画像を素早く携帯端末１１０に提示することができる。
【０１１９】
別の方法として、画像の内容、すなわち画像に含まれる物体に基づいて学習が行われてもよい。この場合には、画像取得部１５０３は、過去画像から既知の物体認識方法に基づいて物体の抽出を行い、それらに頻出している特定の物体（例えば、ゴミ箱）をメモリ１５２または記憶装置１５３に記録しておく。過去画像を表示する操作が行われる際に、画像取得部１５０３は、現在画像についても既知の物体認識方法を適用し、物体の抽出を行う。そして、画像取得部１５０３は、現在画像に上述の特定の物体が含まれている場合に、その特定の物体が含まれている１つまたは複数の過去画像（特に現在の位置および向きに近いもの）を画像記憶部１５０２から取得し、携帯端末１１０に送信する。これにより、特定の物体に着目して、怪しいと思われる箇所を重点的に表示し、不審物の発見を容易にすることができる。
【０１２０】
本実施形態によれば、第１の実施形態と同様の効果に加えて、現在画像および過去画像の内容と位置および向きとの少なくとも一方に基づいて学習および予測を行うことによって、より素早く適切な過去画像を表示することができる。
【０１２１】
（その他の実施形態）
図１５は、上述の各実施形態に係る画像表示システム１００、２００の概略構成図である。図１５には、画像表示システム１００、２００が携帯端末の位置および向きに基づいて過去に記録された画像を表示する機能を実現するための構成例が示されている。画像表示システム１００、２００は、携帯端末の位置および向きを含む情報を取得する情報取得部１１０２、２１０２と、携帯端末の位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、画像を取得する画像取得部１５０３、２５０３と、を備える。
【０１２２】
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
【０１２３】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（より具体的には、図７、１３に示す方法をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【０１２４】
該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【０１２５】
上述の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２６】
（付記１）
携帯端末の位置および向きを含む情報を取得する情報取得部と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する画像取得部と、
を備える画像表示システム。
【０１２７】
（付記２）
前記画像に関連付けられた前記位置および向きは、前記画像の撮像範囲の位置および向きである、付記１に記載の画像表示システム。
【０１２８】
（付記３）
前記携帯端末の前記位置および向きと、前記画像に関連付けられた前記位置および向きとの類似性を表す類似度を算出する類似度算出部をさらに備え、
前記画像取得部は、前記類似度に基づいて前記画像を取得する、付記１または２に記載の画像表示システム。
【０１２９】
（付記４）
前記類似度算出部は、前記携帯端末と前記画像との間で、前記位置のずれよりも前記向きのずれが前記類似性に大きく影響し、前記向きのずれが小さいほど前記類似性が高いように、前記類似度を算出する、付記３に記載の画像表示システム。
【０１３０】
（付記５）
前記類似度算出部は、前記携帯端末と前記画像との間で、前記向きに沿った方向の前記位置のずれよりも、前記向きに垂直な方向の前記位置のずれが前記類似性に大きく影響し、前記向きに垂直な方向の前記位置のずれが小さいほど前記類似性が高いように、前記類似度を算出する、付記３または４に記載の画像表示システム。
【０１３１】
（付記６）
前記類似度算出部は、前記画像に関連付けられた前記位置が、前記携帯端末の前記位置から前記携帯端末の前記向きに沿った方向の前方である場合よりも、前記携帯端末に関連付けられた前記位置から前記携帯端末の前記向きに沿った方向の後方である場合に、前記類似性が高いように、前記類似度を算出する、付記５に記載の画像表示システム。
【０１３２】
（付記７）
前記情報取得部を有する前記携帯端末と、
前記画像取得部を有するサーバと、を備える付記１〜６のいずれか一項に記載の画像表示システム。
【０１３３】
（付記８）
前記携帯端末の前記位置および向きを、所定の領域毎および所定の方位毎の分類に分ける情報分類部をさらに備え、
前記画像取得部は、前記分類に基づいて、前記画像を取得する、付記１〜６のいずれか一項に記載の画像表示システム。
【０１３４】
（付記９）
前記情報取得部を有する前記携帯端末と、
前記画像取得部を有するサーバと、を備え、
前記情報分類部は、前記分類が変化した場合に、前記携帯端末から前記サーバに前記分類を送信する、付記８に記載の画像表示システム。
【０１３５】
（付記１０）
前記画像取得部は、過去に取得された前記画像の内容と、前記画像に関連付けられた前記位置および向きとの少なくとも一方に基づいて学習を行う、付記１〜９のいずれか一項に記載の画像表示システム。
【０１３６】
（付記１１）
位置および向きを含む情報を取得する情報取得部と、
前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を表示する画像表示部と、
を備える端末。
【０１３７】
（付記１２）
携帯端末の位置および向きを含む情報を取得する工程と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する工程と、
を備える方法。
【０１３８】
（付記１３）
コンピュータに、
携帯端末の位置および向きを含む情報を取得する工程と、
前記携帯端末の前記位置および向き、ならびに記憶装置に過去に記録された画像に関連付けられた位置および向きに基づいて、前記画像を取得する工程と、
を実行させるプログラム。
【０１３９】
この出願は、２０１６年２月２６日に出願された日本出願特願２０１６−０３５６５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2017146162.tif 000006
【図２】
2017146162.tif 000007
【図３】
2017146162.tif 000008
【図４】
2017146162.tif 000009
【図５】
2017146162.tif 000010
【図６】
2017146162.tif 000011
【図７】
2017146162.tif 000012
【図８】
2017146162.tif 000013
【図９】
2017146162.tif 000014
【図１０】
2017146162.tif 000015
【図１１】
2017146162.tif 000016
【図１２】
2017146162.tif 000017
【図１３】
2017146162.tif 000018
【図１４】
2017146162.tif 000019
【図１５】
2017146162.tif 000020
【国際調査報告】
2017146162.tif 000021
2017146162.tif 000022
2017146162.tif 000023
2017146162.tif 000024