(57)【要約】【課題】簡易な操作によって同一対象の異なる時点における画像を見る。【解決手段】この画像表示システムは、撮像のために用いられる複数の携帯端末１と、この撮像によって得られた画像データ（画像ファイル）を多数記憶するサーバー２と、画像を表示する画像表示装置３を具備する。これらは互いにネットワークＮを介して接続されている。携帯端末１は、撮像を行なうと、これによる画像ファイルを、ネットワークを介してサーバー２に送信することができる。この際に、の画像ファイルが作成された際の時刻情報、位置情報、姿勢情報が送信される。サーバー２においては、上記の画像ファイル、時刻情報、位置情報、姿勢情報が一群とされた撮像データＤとして記憶されている【選択図】図１
2019211810.tif 000002
【特許請求の範囲】
【請求項１】
異なる時点において撮像端末によって撮像された画像のうち、ユーザーによって選定された画像を表示部で表示させる画像表示システムであって、
前記撮像端末が撮像を行うことにより生成された画像ファイルと、当該撮像が行われた日時を表す時刻情報と、当該撮像が行われた際の前記撮像端末の位置を表す位置情報と、当該撮像が行われた際の前記撮像端末の３次元空間中での姿勢を表す姿勢情報と、を一群のデータである撮像データとして複数記憶する記憶部と、
前記時刻情報、前記位置情報、及び前記姿勢情報のそれぞれにおける範囲をユーザーによって設定させ、前記時刻情報、前記位置情報、及び前記姿勢情報がそれぞれ設定された範囲内にある前記撮像データに基づく画像を、当該撮像データの前記時刻情報に基づく日時と共に前記表示部で表示させる制御部と、
を具備することを特徴とする画像表示システム。
【請求項２】
前記制御部は、
前記撮像データのうちの一つである表示撮像データに基づく画像を前記表示部で表示させる際に、
当該表示撮像データ以外の前記撮像データであり、前記位置情報、前記姿勢情報の前記表示撮像データにおける前記位置情報、前記姿勢情報との相違がそれぞれにおいて設定された範囲内にある前記撮像データである類似撮像データを抽出し、前記表示部において、当該類似撮像データにおける前記時刻情報に基づく前記日時が表示されることを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記表示部において、
前記日時は、時間間隔を長さに対応させて表示する時間経過表示の中におけるマーカーで表示されることを特徴とする請求項２に記載の画像表示システム。
【請求項４】
前記表示部において、
前記時間経過表示の中で前記マーカーがユーザーによって選択できる設定とされ、選択された前記マーカーに対応した前記日時に対応する前記撮像データに基づく画像が表示されることを特徴とする請求項２又は３に記載の画像表示システム。
【請求項５】
前記制御部は、前記表示部において、複数の異なる前記表示撮像データに対応する画像を同時に表示させると共に、複数の前記表示撮像データの各々に対応する前記類似撮像データを各々抽出し、
前記時間経過表示の中で、前記マーカーを、対応する前記表示撮像データ毎に異なる態様で表示させることを特徴とする請求項３又は４に記載の画像形成システム。
【請求項６】
前記記憶部を具備し前記撮像端末とは別体とされたサーバーと、
当該サーバーとネットワークを介して接続され前記制御部及び前記表示部を具備する画像表示装置と、
を具備することを特徴とする請求項１から請求項５までのいずれか１項に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数の画像データを用いて所望の画像を表示させる画像表示システムに関する。
【背景技術】
【０００２】
ユーザーから離間した箇所にある機器によって撮像された画像データを、ユーザーが所有するパーソナルコンピューターや携帯端末（スマートフォン等）にサーバーを介して入手させることによって、この画像データに基づく画像（例えば風景の画像）を見ることができる。この画像データとしては、現時点のもの以外に、過去に撮像されたものも含まれる。ここで、同一箇所を撮像した場合においても、同一の撮像条件で撮像されたとは限らず、撮像条件が異なれば、実質的に同一の風景を撮像したにもかかわらず、得られた画像は異なる。
【０００３】
特許文献１には、ある時点における風景の画像と、これと異なる時点における風景の画像とを比較し、この風景の中で変化があると認められた箇所を特定して示す、例えば異なる時点におけるこの箇所の画像を特定して同時に表示する等の処理を行う画像表示システムが記載されている。この技術においては、多数の携帯端末によって得られた画像データがサーバーに記憶され、この際に携帯端末間で各種の情報が共有されて用いられ、画像データと共に記憶される。これによって、上記のように、異なる時点における画像を適正に比較し、上記のような表示を行わせることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１３３７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の画像表示システムは、風景の中の構造物の時間的変化を厳密に認識するためには有効であるが、実際には、このような厳密性は要求せずに、ユーザーが同じ箇所の異なる時点での画像を見ることだけが要求される場合も多い。こうした場合においては、上記の画像表示システムにおいて必要とされる操作はユーザーにとっては容易ではなく、利便性が悪かった。
【０００６】
このため、簡易な操作によって同一対象の異なる時点における画像を見ることができる画像表示装置、画像表示システムが望まれた。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、上記課題を解決できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像表示システムは、異なる時点において撮像端末によって撮像された画像のうち、ユーザーによって選定された画像を表示部で表示させる画像表示システムであって、前記撮像端末が撮像を行うことにより生成された画像ファイルと、当該撮像が行われた日時を表す時刻情報と、当該撮像が行われた際の前記撮像端末の位置を表す位置情報と、当該撮像が行われた際の前記撮像端末の３次元空間中での姿勢を表す姿勢情報と、を一群のデータである撮像データとして複数記憶する記憶部と、前記時刻情報、前記位置情報、及び前記姿勢情報のそれぞれにおける範囲をユーザーによって設定させ、前記時刻情報、前記位置情報、及び前記姿勢情報がそれぞれ設定された範囲内にある前記撮像データに基づく画像を、当該撮像データの前記時刻情報に基づく日時と共に前記表示部で表示させる制御部と、を具備することを特徴とする。
【発明の効果】
【０００９】
上記の構成により、簡易な操作によって同一対象の異なる時点における画像を見ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る画像表示システム全体の構成を示す図である。
【図２】本発明の実施の形態に係る画像表示システムにおいて用いられる撮像端末の構成を示す図である。
【図３】本発明の実施の形態に係る画像表示システムにおいて用いられるサーバーの構成を示す図である。
【図４】本発明の実施の形態に係る画像表示システムにおいて用いられる画像表示装置の構成を示す図である。
【図５】本発明の実施の形態に係る画像表示システムにおいて用いられる画像表示装置における動作を示すフローチャートである。
【図６】本発明の実施の形態に係る画像表示システムにおける画像表示の例である。
【図７】本発明の実施の形態に係る画像表示システムにおける画像表示の他の例である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施の形態に係る画像表示システムについて説明する。図１は、この画像表示システム全体の構成を示す図である。この画像表示システムは、撮像のために用いられる複数の携帯端末（撮像端末）１と、この撮像によって得られた画像データ（画像ファイル）を多数記憶するサーバー２と、画像を表示する画像表示装置３を具備する。これらは互いにネットワークＮを介して接続されている。ここで、画像表示装置３は、画像を表示するためのみに用いられ、例えば通常のパーソナルコンピューター等を用いることができる。また、複数の携帯端末１のうちの一つや、サーバー２がこの画像表示装置３を兼ねるものとすることもできる。
【００１２】
図２は、サーバー２に記憶される画像ファイル等を得るための携帯端末（撮像端末）１の構成を示す図である。この携帯端末１は、撮像を行うために用いられ、全体の制御を行う制御部１０、周囲の撮像を行いその画像データを画像ファイルとして入手するための撮像部１１を具備する。また、ネットワークと接続してこの画像ファイルを含む各種のデータを授受するためのネットワーク接続部１２が設けられる。また、この携帯端末１のユーザーによる操作のために用いられる操作パネル１３、表示部１４が設けられ、上記の画像ファイル等や各種のデータを記憶する記憶部１５が設けられる。操作パネル１３と表示部１４は、実際にはこれらが一体化されたタッチパネルディスプレイとして設けられる。
【００１３】
また、現在の時刻を認識するための時刻認識部１６が設けられ、これにより、制御部１０は、現在の時刻情報として、年月日、時刻を認識する。また、ＧＰＳ信号を受信することにより現在の自己の位置を認識するための位置情報認識部１７も設けられる。この位置情報は、例えば緯度、経度、標高で表される。また、現在における自己の姿勢を認識するための姿勢認識部１８も設けられる。姿勢認識部１８は、例えば特開２０１５−４５５８３号公報に記載された方位センサと姿勢センサを組み合わせて構成され、地磁気や加速度を検知することにより、撮像部１１における視野中心の３次元空間中における向きを検出する。撮像部１１が携帯端末１中で固定されていれば、視野中心の３次元空間中における向きは、この携帯端末１の中心軸の３次元空間中における向きが定まれば一義的に定まるため、この携帯端末１の中心軸あるいはある携帯端末１中における定められた軸の向きを代わりに検出してもよい。ここでは、このように検出された向きを、携帯端末１の姿勢と呼称する。ここでは、この姿勢の時間的変化ではなく、撮像部１１が撮像を行った時点における姿勢が特に検出される。この姿勢情報は、例えば方位角と仰角で表される。
【００１４】
携帯端末１（制御部１０）は、撮像部１１が撮像を行なうと、ユーザーによる操作パネル１３の操作により、これによる画像ファイルを、ネットワークＮを介してサーバー２に送信することができる。この際に、この画像ファイルと共に、この画像ファイルが作成された（撮像が行われた）際の時刻情報、位置情報、姿勢情報が送信される。
【００１５】
図３は、サーバー２の構成を示す図である。このサーバー２は、ネットワーク接続部２１を介して携帯端末１と接続され、上記のように携帯端末１から送信されたデータを記憶する記憶部２２、全体を制御する制御部２０が設けられる。ここで、このサーバーにデータを送信する携帯端末１は複数あり、かつ各携帯端末１から複数の時点においてデータが送信されるため、記憶部２２はこれらのデータ全てを記憶できる程度に大容量とされ、ハードディスクや半導体メモリで構成される。また、ユーザーがこのサーバー２を操作するための操作パネル２３、表示部２４が設けられる。  
【００１６】
サーバー２においては、上記の画像ファイル、時刻情報、位置情報、姿勢情報が一群とされた撮像データＤとして記憶部２２に記憶されている。このため、制御部２０は、例えば、時刻情報、位置情報、姿勢情報においてある特定の範囲が指定された場合に、これらの各情報が全てこの範囲内となる撮像データＤの有無を認識、あるいはこの撮像データＤの抽出をすることができる。
【００１７】
図４は、画像表示装置３の構成を示す図である。この画像表示装置３においても、制御部３０、ネットワーク接続部３１、操作パネル３２、表示部３３、記憶部３４が設けられ、これら全体を制御する制御部３０が設けられる。携帯端末１の場合と同様に、操作パネル３２と表示部３３とが一体化されたタッチパネルディスプレイを用いてもよい。前記の通り、この画像表示装置３としては、通常のパーソナルコンピューターを用いることができ、前記の携帯端末１、サーバー２が画像表示装置３を兼ねるものとしてもよい。この画像表示システムにおいては、対象となる画像の表示はこの表示部３３で行われる。
【００１８】
記憶部２２に記憶された上記のデータのうち、特に位置情報、姿勢情報は、撮像された画像と撮像部１１（携帯端末１）との間の位置関係を反映する。このため、位置情報及び姿勢情報が同一である２つの撮像データＤがあれば、これらにおける画像ファイルの画像は、同一の対象が同一の態様で撮像されることによって得られたものとなる。このため、例えばある撮像データＤ（表示撮像データ）が選択され、その画像が表示部１４で表示され、この表示撮像データと位置情報及び姿勢情報が近い撮像データＤ（類似撮像データ）があれば、この類似撮像データの画像は、現在表示部１４で表示されているものと異なる時点における同一対象の画像と推定することができる。このため、このような類似撮像データを記憶部２２に記憶された全ての撮像データから抽出し、類似撮像データが複数ある場合に、この中で所望の日時のものを選択して、表示部１４に表示させて、表示撮像データによる元の画像と対比させることができる。
【００１９】
図５は、この際の動作を示すフローチャートである。ここでは、まず、画像表示装置３における制御部３０は、サーバー２側から、記憶部２２に記憶された撮像データＤのリストを入手する（Ｓ１）。ここでは、画像表示装置３は、全ての撮像データＤにおけるデータ容量の小さな時刻情報、位置情報、姿勢情報のみを入手し、データ容量の大きな画像ファイルを入手する必要はない。表示部３３でこのリストを表示させ（Ｓ２）、ユーザーに操作パネル３２を用いてそのうちの一つを表示すべき画像（表示撮像データ）として選択させる（Ｓ３）。この場合における選択は、ファイル名や、日時（時刻情報）、位置（位置情報）の指定等、任意の方法で行われる。その後、制御部３０は、この表示撮像データの画像ファイルをサーバー２（記憶部２２）からネットワークＮを介して入手し（Ｓ４）、その画像ファイルに基づく画像を、時刻情報に基づく日時と共に表示部３３に表示させる（Ｓ５）。
【００２０】
次に、制御部３０は、先に入手したリスト（Ｓ１）を参照し、表示撮像データよりも日時が前であり、かつ表示撮像データと位置情報及び姿勢情報が近い撮像データを類似撮像データとして抽出する。ここで、位置情報が近いとは、位置情報に基づく２点間の距離が予め定められた閾値（第１の閾値）よりも小さな場合、姿勢情報が近いとは、姿勢情報に基づく２つの方向の角度差が予め定められた閾値（第２の閾値）よりも小さな場合、とすることができる。類似撮像データが見つからなかった場合（Ｓ６：Ｎｏ）には、処理は終了する。
【００２１】
類似撮像データがある場合（Ｓ６：Ｙｅｓ）には、制御部３０は、表示部３３に、前記の画像表示及びその日時の表示（Ｓ５）に加えて、時間間隔を線分の長さに対応させて表した時間経過表示を、表示撮像データの画像の表示と共に表示させる（Ｓ７）。図６（ａ）は、この場合における表示部３３の表示の例である。ここでは、上側の対象画像表示部３３Ａにおいて、表示撮像データに基づく画像が表示され、その下側で表示撮像データの日時が日時表示部３３Ｂに表示されている。更にその下側において、時間間隔が横方向の長さに対応するように時間経過が示された時間経過表示３３Ｃが表示される。期間表示３３Ｄにおいては、表示された時間経過表示３３Ｃにおいて示された期間が具体的に表示されている。時間経過表示３３Ｃにおける最も右側は、日時表示部３３Ｂに表示された表示撮像データの日時に対応し、この中で対象画像表示部３３Ａで現在表示されている画像の日時を示すマーカーＭは、この最も右側に存在するように表示される。これよりも左側は、この時点から遡った過去に対応する。この中で、類似撮像データとして存在する撮像データの日時に対応した箇所にマーキング（撮像データ存在マークＬ）が表示される。
【００２２】
ユーザーは、操作パネル３２（あるいはタッチパネルディスプレイ）を操作して、マーカーＭを、図６（ａ）の位置よりも左側（過去側）に移動させることができる。制御部３０は、このようなマーカーＭの位置の再設定が行われたら（Ｓ８：Ｙｅｓ）、マーカーＭの新たな位置に応じた時刻情報をもつ類似撮像データを、前記の表示撮像データの代わりに、前記（Ｓ５）と同様に表示する（Ｓ９）。図６（ｂ）は、この状態における表示部３３の表示の例である。その後は、マーカーＭの再設定がある毎にこの動作（Ｓ８、Ｓ９）が繰り返される。
【００２３】
上記の例では、マーカーＭの位置が図６（ａ）の場合と図６（ｂ）の場合の２種類とされた。しかしながら、マーカーＭの移動速度を考慮した動作も可能である。例えば、マーカーＭの移動速度が遅く、かつ時間経過表示３３Ｃで示された時間範囲内に多くの類似撮像データがある場合には、移動後のマーカーＭが最終的に停止するまでの間において、時間経過表示部３３Ｃは変化させずに、移動中のマーカーＭの位置に対応した類似撮像データを順次読み込み、これらの画像を対象画像表示部３３Ａで順次切り替えて表示させることができる。この場合には、ユーザーは、撮像の対象（風景）の経時変化をより適切に認識することができる。一方、マーカーＭの移動速度が速い場合には、マーカーＭの始点（図６（ａ））と終点（図６（ｂ））に応じた２種類のみの画像が対象画像表示部３３Ａで表示させることができる。こうした動作は、マーカーＭの位置の判定のタイミング、時間間隔によって、適宜行わせることができる。
【００２４】
図６の例では、対象となる画像を表示する対象画像表示部３３Ａが一つのみ設けられたが、対象物（対象風景）毎に、これを同時に複数設けることもできる。図７（ａ）（ｂ）においては、４つの対象画像表示部３３Ａ１〜３３Ａ４が用いられた場合が示されており、図７（ａ）は、表示撮像データを表示した直後の表示（Ｓ７）の例であり、図７（ｂ）は、マーカーＭが再設定された後の表示（Ｓ９）の例である。ここでは、対象画像表示部３３Ａ１〜３３Ａ４の各々における撮像データ（表示撮像データ）の日時は共通（同時）であり、かつ位置情報又は姿勢情報は互いに大きく異なっているため、異なる対象物（風景）が同時に撮像されたものとして認識される。
【００２５】
一方、時間経過表示部３３Ｃ、マーカーＭは、対象画像表示部３３Ａ１〜３３Ａ４において共通とされる。ただし、対象画像表示部３３Ａ１〜３３Ａ４の各々で示された表示撮像データ毎に類似撮像データは得られ、得られた類似撮像データの日時は一般的には表示撮像データ毎に異なる。このため、ここでは、前記の時間経過表示部３３Ｃにおいて、前記の撮像データ存在マークＬは、表示撮像データ（対象画像表示部）毎に異なる態様とされた撮像データ存在マークＬ１〜Ｌ４として表示される。こうした表示によって、ユーザーは、どの時点における過去の対応する画像を見ることができるかを、対象画像表示部３３Ａ１〜３３Ａ４で表示された画像毎に認識することができる。
【００２６】
このように、上記の画像表示システムによって、同一対象の異なる時点における画像を見ることを、簡易な操作によって行うことができる。
【００２７】
上記の例においては、対象画像表示部、時間経過表示部は、図６、７に示されるように表示されたが、同様にユーザーがこれらを認識することができ、同様に使用できる限りにおいて、これらの構成は任意である。
【００２８】
また、上記の例においては、図１における画像表示装置３で図６、７に示されたような表示が行われるものとしたが、前記の通り、同様の表示、操作を携帯端末１、サーバー２で行わせることもできる。更に、撮像データを記憶するサーバーとネットワークを介して接続され、同様の表示部を具備する任意の機器を画像表示装置として用いることができる。
【００２９】
また、上記の例では、単一のサーバー２（記憶部２２）が用いられたが、サーバー、撮像データを記憶する記憶部がネットワークを介して複数分散して設けられていてもよい。
【００３０】
また、上記の例では、撮像データを取得する機器が携帯端末とされたが、地上に固定され、かつネットワークと接続された撮像装置を撮像端末として用いることもできる。この場合には、その位置は固定されるため、上記の位置情報認識部は不要である。更に、この撮像端末の撮像の際の姿勢が固定されていれば、上記の姿勢認識部も不要である。これらの場合には、サーバーの制御部は、撮像端末を識別することにより、位置情報、姿勢情報を自動的に認識することができる。
【符号の説明】
【００３１】
１  携帯端末（撮像端末）
２  サーバー
３  画像表示装置
１０、２０、３０  制御部
１１  撮像部
１２、２１、３１  ネットワーク接続部
１３、２３、３２  操作パネル
１４、２４、３３  表示部
１５、２２、３４  記憶部
１６  時刻認識部
１７  位置情報認識部
１８  姿勢認識部
３３Ａ、３３Ａ１、３３Ａ２、３３Ａ３、３３Ａ４  対象画像表示部
３３Ｂ  日時表示部
３３Ｃ  時間経過表示
３３Ｄ  期間表示
Ｄ  撮像データ
Ｌ、Ｌ１〜Ｌ４  撮像データ存在マーク
Ｍ  マーカー
Ｎ  ネットワーク
【図１】
2019211810.tif 000003
【図２】
2019211810.tif 000004
【図３】
2019211810.tif 000005
【図４】
2019211810.tif 000006
【図５】
2019211810.tif 000007
【図６】
2019211810.tif 000008
【図７】
2019211810.tif 000009