(57)【要約】【課題】地上から撮影された複数の空の画像に基づいて広域の空画像を生成することが可能な画像処理システム、クライアントシステム、画像処理方法、および記憶媒体を提供する。【解決手段】クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得する取得部と、前記取得部により取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成する生成部と、を備える、画像処理システム。【選択図】図２
2016025620.tif 000002
【特許請求の範囲】
【請求項１】
クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得する取得部と、
前記取得部により取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成する生成部と、
を備える、画像処理システム。
【請求項２】
前記取得部は、前記取得された空の画像より広範囲を撮像した空の画像に対応する、撮影日時情報および位置識別情報を含むリファレンス画像を取得し、
前記生成部は、前記リファレンス画像と、前記取得された空の画像とを比較することにより、前記複数の空の画像の配置を調整して前記合成を実行する、請求項１に記載の画像処理システム。
【請求項３】
前記生成部は、前記取得された空の画像に含まれる天体の位置に応じて、前記複数の空の画像の配置を調整して前記合成を実行する、請求項１に記載の画像処理システム。
【請求項４】
前記生成部は、前記取得された空の画像の特徴に応じて、前記複数の空の画像の配置を調整して前記合成を実行する、請求項１に記載の画像処理システム。
【請求項５】
前記生成部は、前記取得された空の画像に含まれる、クライアントの投射部から投射された特定のパターンを特徴として、前記複数の空の画像の配置を調整して前記合成を実行する、請求項４に記載の画像処理システム。
【請求項６】
前記生成部は、前記複数の空の画像を、撮影日時情報および位置識別情報に応じて連続するよう張り合わせて合成することで、より広範囲な空の画像を生成する、請求項１に記載の画像処理システム。
【請求項７】
前記生成部は、前記合成によって生成された合成画像における空隙個所を強調する強調画像を生成する、請求項１に記載の画像処理システム。
【請求項８】
前記空隙個所を強調する強調画像は、前記空隙個所に合致する空の画像の補充をユーザに促す表示を含む、請求項７に記載の画像処理システム。
【請求項９】
撮像部によって第１の画角で撮像された第１の空の画像を取得する第１の取得部と、
撮像部によって前記第１の画角よりも広い画角で撮像された第２の空の画像を取得する第２の取得部と、
クライアント装置の位置を検出する位置検出部と、
現在の日時を検出する日時検出部と、
前記第１の取得部により前記第１の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および前記第１の空の画像、あるいは前記第２の取得部により前記第２の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および第２の空の画像を、選択的にサーバに送信する通信部と、
を備える、クライアントシステム。
【請求項１０】
前記クライアントシステムは、
前記撮像部が空に向いていることを検知する検知部をさらに備え、
前記第１の取得部は、前記検知部による検知結果に応じて、前記撮像部が空に向いている際、前記第１の画角で前記第１の空の画像を自動的に取得する、請求項９に記載のクライアントシステム。
【請求項１１】
前記クライアントシステムは、
撮像部が空に向いていることを検知する検知部と、
前記検知部による検知結果に応じて、前記撮像部が空に向いていることをユーザに通知する通知部と、をさらに備える、請求項９に記載のクライアントシステム。
【請求項１２】
前記通知部は、画像、音、または振動で通知する、請求項１１に記載のクライアントシステム。
【請求項１３】
前記クライアントシステムは、
特定のパターンを投射する投射部をさらに備え、
前記第１、第２の取得部は、前記特定のパターンが投射された空の画像を取得する、請求項９に記載のクライアントシステム。
【請求項１４】
クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得することと、
前記取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成することと、
を含む、画像処理方法。
【請求項１５】
コンピュータを、
撮像部によって第１の画角で撮像された第１の空の画像を取得する第１の取得部と、
撮像部によって前記第１の画角よりも広い画角で撮像された第２の空の画像を取得する第２の取得部と、
クライアント装置の位置を検出する位置検出部と、
現在の日時を検出する日時検出部と、
前記第１の取得部により前記第１の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および前記第１の空の画像、あるいは前記第２の取得部により前記第２の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および第２の空の画像を、選択的にサーバに送信する通信部と、
として機能させるためのプログラムが記憶された、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理システム、クライアントシステム、画像処理方法、および記憶媒体に関する。
【背景技術】
【０００２】
従来、異なる方向を向いて撮像した複数の撮像画像を連続するよう合成して広範囲の画像を生成することが行われている。このような複数の撮像画像の合成技術に関し、例えば以下のような発明が提案されている。
【０００３】
具体的には、下記特許文献１では、撮影方向の異なる複数の撮影画像を用いてパノラマ画像を合成し、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）用のフォーマットに変換してＨＭＤに送信するサーバが開示されている。また、下記特許文献２では、複数のユーザから撮像画像を集め、撮影位置に応じて再合成して、地図などにマッピングするシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１７７７６号公報
【特許文献２】特開２０１２−１５０５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の合成技術では、いずれも地上を撮像した撮像画像を、撮影位置や撮影方向に応じて合成して広範囲の画像を生成するものであって、地上から空を撮像した空画像を合成して広範囲の空の画像を生成することは行われていなかった。
【０００６】
また、従来の気象予報は、気象衛星や雨雲レーダ等により得られる情報、すなわち気象衛星により衛星軌道上から雲を撮影した撮影画像や、雨雲レーダにより一定の高さに存在する雨雲の検知結果等に基づいて行われていた。しかし、従来の気象衛星や雨雲レーダでは、対流圏下層の雲の様子を観測することができず、例えばゲリラ豪雨の予測等は大変に困難であった。ここで、上述したように、地上から空を撮像した空画像を合成して広範囲の空の画像を生成することが出来れば、より正確な気象予報が可能となる。
【０００７】
そこで、本開示では、地上から撮影された複数の空の画像に基づいて広域の空画像を生成することが可能な画像処理システム、クライアントシステム、画像処理方法、および記憶媒体を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得する取得部と、前記取得部により取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成する生成部と、を備える画像処理システムを提案する。
【０００９】
本開示によれば、撮像部によって第１の画角で撮像された第１の空の画像を取得する第１の取得部と、撮像部によって前記第１の画角よりも広い画角で撮像された第２の空の画像を取得する第２の取得部と、クライアント装置の位置を検出する位置検出部と、現在の日時を検出する日時検出部と、前記第１の取得部により前記第１の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および前記第１の空の画像、あるいは前記第２の取得部により前記第２の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および第２の空の画像を、選択的にサーバに送信する通信部と、を備えるクライアントシステムを提案する。
【００１０】
本開示によれば、クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得することと、前記取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成することと、を含む画像処理方法を提案する。
【００１１】
本開示によれば、コンピュータを、撮像部によって第１の画角で撮像された第１の空の画像を取得する第１の取得部と、撮像部によって前記第１の画角よりも広い画角で撮像された第２の空の画像を取得する第２の取得部と、クライアント装置の位置を検出する位置検出部と、現在の日時を検出する日時検出部と、前記第１の取得部により前記第１の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および前記第１の空の画像、あるいは前記第２の取得部により前記第２の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および第２の空の画像を、選択的にサーバに送信する通信部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。
【発明の効果】
【００１２】
以上説明したように本開示によれば、地上から撮影された複数の空の画像に基づいて広域の空画像を生成することが可能となる。
【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態による画像処理システムの概要を説明する図である。
【図２】本実施形態による情報処理サーバの構成の一例を示すブロック図である。
【図３】本実施形態によるクライアント装置の構成の一例を示すブロック図である。
【図４】本実施形態による空画像の取得について説明するための図である。
【図５】本実施形態による空画像の収集・合成の動作処理を示すシーケンス図である。
【図６】本実施形態による合成画像の欠落領域を強調する画像の提示処理を示すシーケンス図である。
【図７】本実施形態による欠落領域を強調する表示画面の一例を示す図である。
【図８】本実施形態による欠落領域を強調する表示画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による画像処理システムの概要
２．基本構成
２−１．画像処理サーバの構成
２−２．クライアント装置の構成
３．動作処理
３−１．収集・合成処理
３−２．強調画像の提示処理
４．まとめ
【００１７】
＜＜１．本開示の一実施形態による画像情報処理システムの概要＞＞
まず、本開示の一実施形態による画像処理システムの概要を図１に示して説明する。図１に示すように、本実施形態による画像処理システムは、ネットワーク３に接続された画像処理サーバ１および複数のクライアント装置２Ａ〜２Ｃを含む。画像処理サーバ１は、複数のクライアント装置２Ａ〜２Ｃによって地上から撮影された空の画像（仰視画像）を受信し、当該空の画像に付加されている撮影日時情報および撮影位置を識別可能な位置識別情報に基づいて連続するよう合成し、より広範囲な空の画像を生成する。なお画像処理サーバ１は、日時毎に広範囲な空の画像を生成することで、過去の空画像や現在の（リアルタイムの）空画像を提供することが可能となる。
【００１８】
また、クライアント装置２Ａ〜２Ｃは、撮像部２６を有し、例えばユーザに把持されたり載置されたりした状態で、空画像を撮影する。図１では、同構成を有する３つのクライアント装置２Ａ〜２Ｃを示すが、クライアント装置の数は一例であって、本実施形態はこれに限定されず、例えば単数または複数のクライアント装置であればよい。以下、個別に説明する必要がない場合はクライアント装置２と総称する。
【００１９】
クライアント装置２は、図１では、円柱形状により成り、上面側に撮像部２６（撮像レンズ）が設けられているが、本実施形態によるクライアント装置２の形状はこれに限定されない。例えばクライアント装置２は、撮像機能を有するスマートフォン、携帯電話端末、ＨＭＤ、時計型端末等のモバイル端末やウェアラブル端末であってもよいし、常設された固定カメラであってもよい。
【００２０】
以上、本開示の一実施形態による画像処理システムの概要について説明した。続いて、本実施形態の画像処理システムに含まれる画像処理サーバ１およびクライアント装置２の基本構成について説明する。
【００２１】
＜＜２．基本構成＞＞
＜２−１．画像処理サーバの構成＞
図２は、本実施形態による画像処理サーバ１の構成の一例を示すブロック図である。図２に示すように、画像処理サーバ１は、制御部１０、通信部１１、および画像ＤＢ（データベース）１４を有する。
【００２２】
（制御部１０）
制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、画像処理サーバ１の各構成を制御する。例えば制御部１０は、通信部１１を介して複数のクライアント装置２Ａ〜２Ｃから送信された空画像を合成し、広範囲の空画像を生成する。より具体的には、制御部１０は、図２に示すように、合成画像生成部１０a、および通信制御部１０ｂとして機能する。
【００２３】
・合成画像生成部
合成画像生成部１０ａは、まず、通信部１１を介して取得した複数の空の画像を、各空の画像の撮影日時情報および撮影位置を識別可能な位置識別情報を参照して、適切に合成（張り合わせ；Image Stitching）するためのマッチング（張り合わせの配置調整）を行う。
【００２４】
具体的には、例えば合成画像生成部１０ａは、各空画像よりも広範囲で解像度の低いリファレンス画像を別途取得する。次いで、合成画像生成部１０ａは、リファレンス画像から特徴点を抽出し、これと個々のクライアント装置２から受信した各空画像の特徴点とを比較し、リファレンス画像（解像度の低い広角空画像）における各空画像の相対的な対応位置関係を判断し、各空画像の配置を調整する。
【００２５】
なおリファレンス画像を取得する際、合成画像生成部１０ａは、合成対象の空画像の撮影日時情報および位置識別情報を考慮して、適した場所（具体的には近傍エリア）、時間帯のリファレンス画像を取得する。
【００２６】
ここで、リファレンス画像は、例えば個々のクライアント装置２から受信した広範囲の（広角の）空画像であってもよい。すなわち、画像処理サーバ１は、クライアント装置２により撮像された空画像（以下、第１の空画像とも称す）とは別に、当該第１の空画像より広範囲を（広角で）撮像した空画像（以下、第２の空画像とも称す）を、リファレンス画像としてクライアント装置２から取得し得る。第２の空画像も、第１の空画像と同様に地上から上方向を撮影した画像（すなわち、気象衛星による雲の俯瞰画像とは反対に雲を下から撮影した仰視画像）である。また、第２の空画像は第１の空画像よりも広角であるが、画質は第１の空画像より低くてもよい。
【００２７】
合成画像生成部１０ａは、クライアント装置２から取得した第２の空画像（広角空画像）から特徴点を抽出し、これと第１の空の画像の特徴点とを比較し、第２の空画像における第１の空画像の相対的な対応位置関係を判断し、第１の空画像の配置を調整する。
【００２８】
また、リファレンス画像は、衛星画像であってもよい。すなわち、画像処理サーバ１は、気象衛星等により衛星軌道上から撮像された衛星画像を、リファレンス画像として特定のサーバ（不図示）から取得し得る。合成画像生成部１０ａは、衛星画像（広角空画像）から特徴点を抽出し、これと第１の空の画像の特徴点とを比較し、衛星画像における第１の空画像の相対的な対応位置関係を判断し、第１の空画像の配置を調整する。
【００２９】
また、合成画像生成部１０ａは、第１の空画像に含まれる天体の位置に応じて、複数の空の画像の配置を調整することも可能である。すなわち、合成画像生成部１０ａは、第１の空画像から天体（星や太陽、月等）が抽出できる場合、これらの位置を利用して第１の空画像の配置調整を行う。また、天体の位置の他、例えば第１の空画像に建物等の普遍的な物体が抽出できる場合、合成画像生成部１０ａは、これらの特徴に応じて配置調整を行うことも可能である。
【００３０】
さらに、合成画像生成部１０ａは、第１の空画像に含まれる、クライアント装置２の投射部（不図示）から投射された特定のパターン（ランダムドット等）を特徴として、第１の空画像の配置を調整することもできる。
【００３１】
以上説明したように合成画像生成部１０ａは、複数の第１の空画像の配置を調整（マッチング処理、位置合わせ）した後、これら複数の第１の空画像を合成し、より広範囲で解像度の高い空の画像（合成画像）を生成する。具体的には、合成画像生成部１０ａは、複数の第１の空画像の相対的位置情報に基づいて想定される重なりエリア部分の特徴点マッチングを行い、画像間の移動量を算出し、必要に応じて画像を変形した上で、複数の第１の空画像が連続するよう張り合わせて合成する。合成画像生成部１０ａは、多数のクライアント装置２で取得された複数の第１の空画像を即時（リアルタイムで）合成して広範囲な高解像度の空画像を生成することで、現在の雲の様子を示す画像を生成することができる。生成した合成画像は、通信制御部１０ｂに出力されると共に、画像ＤＢ１４に格納される。
【００３２】
また、合成画像生成部１０ａは、クライアント装置２から送信された第１の空画像が期待する位置からずれている場合、通信制御部１０ｂによりクライアント装置２にずれ量を提示し（例えば「２ｃｍ右に向けてください」等のガイド情報を通知）、クライアント装置２側でずれを調整して再度撮像された第１の空画像を取得して再度合成処理を行う。この際、例えば位置のずれ情報の改善に応じてポイントを付与する等して参加ユーザの再撮像のモティベーションを上げることができる。
【００３３】
また、合成画像生成部１０ａは、リファレンス画像として広角の低解像度空画像（第２の空画像）をクライアント装置２に要求し、取得することができる。
【００３４】
さらに、本実施形態による合成画像生成部１０ａは、生成した合成画像（より広範囲な空画像）の空隙個所を強調する強調画像を生成することもできる。すなわち、本実施形態では、多数のクライアント装置２で取得された複数の第１の空画像を合成して、より広範囲な空画像（合成画像）を生成するため、空画像が足りない空隙個所（以下、欠落領域とも称す）が生じる場合がある。このような欠落領域を埋めるために、合成画像生成部１０ａは、合成画像の欠落領域を未開拓空間として強調した画像を生成する。また、この際、合成画像生成部１０ａは、欠落領域に合致する空の画像の補充をユーザに促す表示を含む強調画像を生成してもよい。例えば、合成画像生成部１０ａは、他の領域の空画像を提供したユーザの名前を表示したり、貢献度に応じたランキングを示したりすることで、ユーザの空画像撮像のモティベーションにつなげることができる。
【００３５】
・通信制御部
通信制御部１０ｂは、通信部１１による外部装置との送受信を制御する。具体的には、例えば通信制御部１０ｂは、合成画像生成部１０ａにより生成された合成画像、強調画像を、クライアント装置２に送信するよう制御する。また、通信制御部１０ｂは、第１の空画像または第２の空画像（リファレンス画像）を提供したクライアント装置２に対して、合成画像生成部１０ａにより生成した広範囲で高解像度の合成画像を返信することで、ユーザの空画像撮像のモティベーションにつなげることができる。
【００３６】
また、通信制御部１０ｂは、生成した合成画像を所定の気象予報サーバ（不図示）に送信するよう制御してもよい。上述したように、当該合成画像は、地上から見た雲の様子が示されているため、気象予報サーバは、従来の気象衛星や雨雲レーダでは観測することができなかった対流圏下層の雲の様子を観測することができ、ゲリラ豪雨等をより正確に予測することが可能となる。
【００３７】
（通信部１１）
通信部１１は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部１１は、例えばクライアント装置２と接続して空画像を受信したり、生成した合成画像（広範囲の空画像、強調画像）を送信したりする。
【００３８】
（画像ＤＢ１４）
画像ＤＢ１４は、各種情報を格納するデータベースである。例えば画像ＤＢ１４は、合成画像生成部１０ａにより生成された合成画像（広範囲の空画像、強調画像）や、リファレンス画像等を格納する。
【００３９】
＜２−２．クライアント装置の構成＞
クライアント装置２は、撮像装置の一例であって、図１に示すように、本実施形態では例えば円柱形状から成るモバイル端末により実現される。図３は、本実施形態によるクライアント装置２の構成の一例を示すブロック図である。
【００４０】
図３に示すように、クライアント装置２は、ＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、通信Ｉ／Ｆ（インターフェース）２５、撮像部２６、位置センサ２７、日時センサ２８、姿勢センサ２９、出力部３０、および操作入力部３１を有する。
【００４１】
（ＣＰＵ）
ＣＰＵ２０は、例えばマイクロコンピュータにより構成され、クライアント装置２の各構成を制御する。具体的には、本実施形態によるＣＰＵ２０は、図３に示すように、第１の取得部２０ａ、第２の取得部２０ｂ、通信制御部２０ｃ、および通知制御部２０ｄとして機能する。
【００４２】
第１の取得部２０ａは、撮像部２６によって第１の画角で撮像された第１の空の画像を取得する。また、第２の取得部２０ｂは、撮像部２６によって第１の画角よりも広い画角で撮像された第２の空の画像を取得する。第１の取得部２０ａ、第２の取得部２０ｂによりそれぞれ取得された第１、第２の空の画像は、通信制御部２０ｃに出力される。
【００４３】
また、本実施形態による第１の取得部２０ａ、第２の取得部２０ｂによる空画像取得のタイミング（すなわち撮像部２６による撮像の実行タイミング）は、所定トリガに応じて行われる。所定トリガとは、例えばユーザによるシャッター操作であってもよいし、外部装置からの撮像指示であってもよい。また、第１の取得部２０ａは、撮像部２６が空に向いていることが検知された際に、撮像部２６によって第１の画角で第１の空の画像を自動的に取得することも可能である。
【００４４】
ここで、空画像の取得について図４を参照して説明する。図４は、本実施形態による空画像の取得について説明するための図である。図４に示すように、例えばユーザは、クライアント装置２をスタンバイ状態（具体的には空画像取得モードが起動されている状態等）で把持し、撮像部２６を上（空の方向）に向ける。すると、クライアント装置２に内蔵された姿勢センサ２９により撮像部２６が上向きになっている（空に向いている）ことが検知されるため、第１の取得部２０ａは、撮像部２６に第１の画角で撮像を実行させ、第１の空画像を取得する。なお撮像部２６が空に向いていることの検知は姿勢センサ２９による検知結果に限定されず、例えば撮像部２６により取得されるスルー画像を解析して空が認識できた場合に撮像部２６が空に向いていると検知され得る。
【００４５】
また、外部装置からの撮像指示をトリガとする場合としては、例えば画像処理サーバ１からリファレンス画像として広角画像の取得要求があった場合に、第２の取得部２０ｂが、撮像部２６に第１の画角よりも広い画角で撮像を実行させ、自動的に第２の空画像を取得する。また、この際、第２の取得部２０ｂは、姿勢センサ２９による検知結果に基づき撮像部２６が上を向いていることや、撮像部２６により取得されるスルー画像に空が認識できることを条件として撮像制御してもよい。
【００４６】
通信制御部２０ｃは、第１の取得部２０ａにより第１の空の画像が取得された日時を示す日時情報と、現在位置情報（撮影位置を識別可能な位置識別情報）と共に、第１の空の画像を画像処理サーバ１に送信するよう制御する。また、通信制御部２０ｃは、第２の取得部２０ｂにより第２の空の画像が取得された日時を示す日時情報と、現在位置情報（撮影位置を識別可能な位置識別情報）と共に、第２の空の画像を画像処理サーバ１に送信するよう制御する。
【００４７】
通信制御部２０ｃによる第１の空の画像等の情報の送信と、第２の空の画像等の情報の送信は同時に行われてもよいし、順次行われてもよい。また、どちらか一方だけが行われてもよい。すなわち、通信制御部２０ｃは、第１の空の画像等の情報と、第２の空の画像等の情報を、必要に応じて選択的に画像処理サーバ１に送信するよう制御する。
【００４８】
通知制御部２０ｄは、撮像部２６が空に向いていることを出力部３０からユーザに通知するよう制御する。通知方法としては、画像、音、または振動等による通知が考え得る。例えば、第１の取得部２０ａによる第１の空の画像の取得がユーザによるシャッター操作をトリガとして行われる場合、ユーザが空を見ながらクライアント装置２を空に向けて構えると、太陽が眩しくて支障が生じる場合がある。そこで、本実施形態では、ユーザが空を見上げながらクライアント装置２を構える必要がないよう、クライアント装置２の撮像部２６の向きが適切な場合にユーザに通知することで、シャッタータイミングを知らせる。これにより、ユーザは把持したクライアント装置２を頭上で上方に向けたり、窓から手を伸ばして上方に向けたりするだけでよく、適切な位置、方向になるとクライアント装置２から通知（振動、音等）されるので、通知に応じてシャッター（不図示）を押下すればよい。
【００４９】
また、通知制御部２０ｄは、クライアント装置２とは別体の外部装置、例えばスマートフォンの出力部からユーザに通知（画像、音、振動等）するよう制御してもよい。クライアント装置２とスマートフォン（不図示）は、赤外線通信、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により無線接続している。このような場合において、通知制御部２０ｄは、スマートフォンの表示画面にシャッターボタン画像を表示させ、クライアント装置２の撮像部２６が空を向いた際に、撮像操作を促す画像をスマートフォンの表示画面に表示させることでシャッタータイミングを知らせる。この場合、スマートフォンは、表示画面への操作入力を検出し、シャッターボタンがタップされたことを示す制御信号をクライアント装置２に無線送信する。
【００５０】
（ＲＯＭ、ＲＡＭ）
ＲＯＭ２２は、ＣＰＵ２０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ２３は、例えば、ＣＰＵ２０により実行されるプログラムなどを一時的に記憶する。
【００５１】
（記憶部）
記憶部２４は、様々なデータを記憶する。例えば、記憶部２４は、撮像部２６により撮像した画像を一時的に記憶することも可能である。
【００５２】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ２５は、クライアント装置２が有する通信手段であり、ネットワーク３を介して（あるいは直接的に）、本実施形態に係る画像処理システムに含まれる外部装置と通信を行う。例えば、通信Ｉ／Ｆ２５は、画像処理サーバ１と無線接続し、撮像画像を送信する。
【００５３】
（撮像部）
撮像部２６は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００５４】
（位置センサ）
位置センサ２７は、クライアント装置２の位置（撮影位置を識別可能な位置識別情報）を検出する。具体的には、例えば位置センサ２７は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、クライアント装置２の位置を検知する。また、位置センサ２７は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。位置センサ２７により検出された位置情報は、第１、第２の空画像にそれぞれ付加される。
【００５５】
（日時センサ）
日時センサ２８は、現在の日時（撮影日時情報）を検出する。例えば日時センサ２８は、時計部により実現される。日時センサ２８により検出された日時情報は、第１、第２の空画像にそれぞれ付加される。
【００５６】
（姿勢センサ）
姿勢センサ２９は、クライアント装置２の姿勢（向き）を検出する。例えば姿勢センサ２９は、ジャイロ、加速度センサ、地磁気センサ等により実現される。本実施形態による姿勢センサ２９は、特に撮像部２６が空に向いていることを検知する検知部として機能し、具体的には撮像部２６が設けられている面が上方向を向いているか否かを検知し、検知結果を第１の取得部２０ａおよび第２の取得部２０ｂにそれぞれ出力する。
【００５７】
（出力部）
出力部３０は、通知制御部２０ｄの制御に従って、シャッタータイミングをユーザに通知するための通知部として機能する。出力部３０は、例えば音声出力部（スピーカ）、振動部、または表示部により実現される。
【００５８】
（操作入力部）
操作入力部３１は、クライアント装置２に対するユーザ操作を検出し、検出した操作入力情報をＣＰＵ２０に出力する。
【００５９】
以上、クライアント装置２の各構成について具体的に説明した。ここで、図３に図示する構成は一例であって、本実施形態によるクライアント装置２の構成はこれに限定されない。例えば、クライアント装置２は、さらに特定のパターンを投射する投射部（不図示）を有していてもよい。
【００６０】
例えば第１の取得部２０ａ、第２の取得部２０ｂにより取得された第１、第２の空画像は、画像処理サーバ１の合成画像生成部１０ａにおいてマッチング処理により配置調整が行われるが、その際画像から抽出される特徴点が用いられる。しかしながら空画像から特徴点が抽出することが困難な場合、適切に合成処理を行うことができない。そこで本実施形態では、第１の取得部２０ａ、第２の取得部２０ｂによりそれぞれ撮像部２６を制御して第１、第２の空画像を取得する際に、投影部から特定のパターン（例えばランダムドット等）を空（雲）に対して投影し、特定のパターンが映った空（雲）を撮像する。これにより、例えば撮影方向の異なる複数の空画像を画像処理サーバ１でマッチングする際に、各画像に含まれる特定のパターンから特徴点が抽出し、これに基づいて複数の空画像の配置調整を行うことが可能となる。
【００６１】
また、本実施形態によるクライアント装置２は、図１に示すような円柱形状のモバイル端末に限定されず、例えばスマートフォン端末、タブレット端末、携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）、携帯用音楽プレーヤー、携帯用ゲーム機、またはウェアラブル端末（ＨＭＤ（ヘッドマウントディスプレイ）、メガネ型ＨＭＤ、時計型端末、バンド型端末）等であってもよい。
【００６２】
＜＜３．動作処理＞＞
以上、本実施形態による画像処理システムに含まれる画像処理サーバ１とクライアント装置２の構成について詳細に説明した。続いて、上記構成を有する画像処理システムの動作処理について図５〜図６を参照して説明する。
【００６３】
＜３−１．収集・合成処理＞
図５は、本実施形態による空画像の収集・合成処理を示すシーケンス図である。図５に示すように、まず、ステップＳ１０３において、クライアント装置２は、撮影トリガを検出する。撮影トリガは、例えばユーザによる撮影指示（シャッター押下等）、撮像部２６が空に向いていることが検知されたこと、前回の第１の空画像の取得から一定時間が経過したこと、外部装置からの指示等が相当する。
【００６４】
次に、撮影トリガが検出された場合（Ｓ１０３／Ｙｅｓ）、ステップＳ１０６において、クライアント装置２の第１の取得部２０ａは、撮像部２６により第１の画角で撮像された空の画像（第１の空の画像）を取得する。
【００６５】
次いで、ステップＳ１０９において、日時センサ２８により上記第１の空の画像の撮影日時情報が検出され、位置センサ２７により上記第１の空の画像の撮影場所（クライアント装置２の現在位置）を示す位置情報が検出される。
【００６６】
次に、ステップＳ１１２において、第２の取得部２０ｂは、広角撮影（すなわち、第１の画角より広い画角での空画像の取得）を行うか否かを判断する。具体的には、例えば第２の取得部２０ｂは、前回の第２の空画像（広角撮影により取得された空画像）の取得から一定時間が経過、または画像処理サーバ１から広角撮影の指示（後述するＳ１２８のリファレンス画像取得要求）があった場合に、広角撮影を行うと判断する。
【００６７】
次いで、広角撮影を行うと判断した場合（Ｓ１１２／Ｙｅｓ）、ステップＳ１１５において、第２の取得部２０ｂは、撮像部２６により上記第１の画角より広い第２の画角で撮像された空の画像（第２の空画像）を取得する。
【００６８】
次に、ステップＳ１１８において、日時センサ２８により上記第２の空の画像の撮影日時情報が検出され、位置センサ２７により上記第２の空の画像の撮影場所（クライアント装置２の現在位置）を示す位置情報が検出される。また、第２の取得部２０ｂは、取得した第２の空の画像に対する上記第１の空の画像の対応位置関係情報を抽出してもよい。
【００６９】
続いて、ステップＳ１２１において、クライアント装置２の通信制御部１０ｂは、撮影日時情報および位置情報が付加された第１、第２の空画像を画像処理サーバ１に送信する。また、通信制御部１０ｂは、第２の空の画像に対する上記第１の空の画像の対応位置関係情報を抽出した場合、これも併せて送信する。なお上記Ｓ１１２で「Ｎｏ」の場合は、撮影日時情報および位置情報が付加された第１の空画像のみが送信される。
【００７０】
上述したＳ１０３〜Ｓ１２１の処理が、多数のクライアント装置２Ａ〜２Ｃにおいて行われ、画像処理サーバ１は、多数のクライアント装置２Ａ〜２Ｃから複数の第１の空画像を受信する。
【００７１】
次いで、ステップＳ１２４において、画像処理サーバ１の合成画像生成部１０ａは、複数の第１の空画像のマッチング処理を行う。具体的には、合成画像生成部１０ａは、所定のリファレンス画像の特徴点と比較してリファレンス画像に対する第１の空画像の相対的な対応位置関係を判断して複数の空画像の配置を調整する。ここで、例えばクライアント装置２から送信された第２の空の画像をリファレンス画像として用いる際、合成画像生成部１０ａは、クライアント装置２で抽出された当該第２の空の画像に対する上記第１の空の画像の対応位置関係情報を利用して配置を調整してもよい。また、合成画像生成部１０ａは、複数の空画像から抽出される特徴点（天体の位置等）を互いに比較し、複数の第１の空画像の配置を調整してもよい。
【００７２】
次に、マッチング処理が成功しなかった場合（Ｓ１２７／Ｎｏ）、ステップＳ１２８において、画像処理サーバ１は、クライアント装置２に対してリファレンス画像の取得要求（広角画像の再撮影リクエスト）を行う。
【００７３】
一方、マッチング処理が成功した場合（Ｓ１２７／Ｙｅｓ）、合成画像生成部１０ａは、ステップＳ１３０において、複数の第１の空の画像の配置を決定し、続くステップＳ１３３において、決定した配置に基づいて画像間の移動量を算出し、複数の第１の空画像が連続するよう合成し、より広範囲な空の合成画像を生成する。生成された合成画像は、画像ＤＢ１４に格納されたり、所定のサーバ（気象予報サーバ等）に送信されたり、ユーザに提示されたりする。
【００７４】
＜３−２．強調画像の提示処理＞
ここで、多数のクライアント装置２で取得された複数の第１の空画像を合成して広範囲な空画像（合成画像）を生成した際、空画像が足りない欠落領域が生じる場合がある。本実施形態では、このような欠落領域を埋めるために、欠落領域を強調した画像を生成し、ユーザに対象領域の空画像の撮像を促すことも可能である。このような例について図６〜図８を参照して説明する。
【００７５】
図６は、本実施形態による合成画像の欠落領域を強調する画像の提示処理を示すシーケンス図である。図６に示すように、まず、ステップＳ２０３において、画像処理サーバ１の制御部１０は、合成画像生成部１０ａで生成した広範囲な空の合成画像に欠落領域があるか否かを判断する。
【００７６】
次に、広範囲の空の合成画像に欠落領域がある場合（Ｓ２０３／Ｙｅｓ）、ステップＳ２０６において、合成画像生成部１０ａは、欠落領域を強調する強調画像を生成する。
【００７７】
また、ステップＳ２０９において、合成画像生成部１０ａは、強調画像に関する付加情報を生成する。具体的には、例えば合成画像生成部１０ａは、欠落領域以外の空画像を提供したユーザの名前を貢献者として示す表示や、欠落領域に対するリクエストの集計結果等を付加情報として生成する。
【００７８】
続いて、ステップＳ２１２において、画像処理サーバ１の通信制御部１０ｂは、合成画像生成部１０ａにより生成された強調画像をクライアント装置２に送信する。
【００７９】
次いで、ステップＳ２１５において、クライアント装置２は、画像処理サーバ１から受信した強調画像を、内蔵または外部の表示部に表示するよう制御する。すなわち、例えばクライアント装置２が図１に示すような円柱形状により形成され、下面に表示部が設けられている場合、当該表示部に表示してもよいし、近傍に存在する所定のスマートフォンと無線接続してスマートフォンの表示部に表示するよう制御してもよい。
【００８０】
そして、ステップＳ２１８において、強調画像の提示により空画像撮像のモティベーションが出たユーザにより、空画像の撮影処理が実行される。空画像の撮影処理は、具体的には図５に示す動作処理と同様であるため、ここでの説明は省略する。
【００８１】
（強調画面の一例）
続いて、ユーザに提示される強調画像の具体的な表示例について図７、図８を参照して説明する。図７、図８は、欠落領域を強調する表示画面の一例を示す図である。ここで、図７、図８では、強調画像が例えばスマートフォンの表示部に表示されている場合について示す。
【００８２】
図７に示すように、例えば表示部３３において、広範囲な空の合成画像において欠落領域が強調された強調画像３３１と、付加情報３３２が表示されている。強調画像３３１では、欠落領域Ｅが闇のホールのように表現されている。例えばこの欠落領域Ｅの空画像を取得することで闇のホールを塞がなければ敵が侵入してくるといったゲーム感覚でミッションを与え、ユーザのモティベーションを上げてもよい。この他、欠落領域Ｅをオゾンホールのように表示してもよい。また、強調画像３３１は、リアルタイムで生成された広範囲の空の合成画像に基づくものであってもよく、ユーザはどこに居てもリアルタイムで空の様子を確認することができる。
【００８３】
また、付加情報３３２では、「このエリアの空作りに貢献した人々」として、空画像を提供したユーザの名前が表示されている。また、各ユーザに対する感謝を示すための感謝ボタンＴを表示し、ユーザにタップさせることで感謝回数が収集される。このように、空画像を提供したユーザを貢献した人々として提示することで、参加ユーザの一体感を盛り上げたり、まだ参加していないユーザに対して空画像の撮像モティベーションを起こさせたりすることができる。また、収集された感謝回数に基づいて貢献者のランキングを提示することも可能である。
【００８４】
また、図８に示すように、例えば表示部３３において、空の欠落領域に対応する地上の場所を地図に示した強調画像３３４と、付加情報３３５〜３３７が表示されてもよい。強調画像３３４では、空の欠落領域に対応する地図上（または地上写真上）の場所に「お願い」ボタンＲ１〜Ｒ３が表示され、ユーザに対して空の画像の撮像を促す。「お願い」ボタンＲはタップすることができ、「お願い」ボタンＲがタップされると、その場所の空画像に対するリクエストとして集計される。
【００８５】
付加情報３３５は、貢献エリアランキングであって、強調画像３３４で示されるエリアにおいて、貢献した空画像の領域の広さに応じた上位者ランキングと、ユーザの現在の順位が示されている。ランキング表示によりユーザに競争意識を持たせ、ゲーム感覚で空画像の撮像モティベーションにつなげることができる。
【００８６】
また、付加情報３３６は、空画像提供者への各ユーザからの感謝数を示すランキングである。空画像提供への各ユーザからの感謝数は、例えば図７に示す感謝ボタンＴのタップに応じて画像処理サーバ１により集計される。
【００８７】
また、付加情報３３７は、欠落領域に対する各ユーザからのリクエスト数を示すランキングである。欠落領域に対する各ユーザからのリクエスト数は、例えば図８に示すお願いボタンＲ１〜Ｒ３のタップに応じて画像処理サーバ１により集計される。
【００８８】
さらに、強調画像３３４では、ユーザが貢献したエリアと、他ユーザが貢献したエリアとが異なる色で表示されてもよい。これによりユーザに陣地意識を持たせ、ゲーム感覚で空画像の撮像モティベーションにつなげることができる。
【００８９】
＜＜４．まとめ＞＞
上述したように、本開示の実施形態による画像処理システムでは、多数のクライアント装置２で取得された複数の第１の空の仰視画像を合成して広範囲な高解像度の空画像（合成画像）を生成することができる。
【００９０】
また、生成される合成画像は仰視画像であって、地上から見た雲の様子が示されているため、従来の気象衛星や雨雲レーダでは観測することができなかった対流圏下層の雲の様子を観測することができる。
【００９１】
また、ユーザ所有のクライアント装置２で第１の空画像を取得させることで、安価に広範囲合成画像システムを構築することができる。
【００９２】
また、画像処理サーバ１で複数の第１の空画像の配置調整を行い、張り合わせて（場合によっては一部を重ねて）合成することで、多地点の画像合成のために設置キャリブレーションを行う手間が省ける。
【００９３】
また、位置調整の為のフィードバック機構をクラウドデバイス側に持たせること無く、画像処理サーバ１からのずれ量の提示データに従って位置調整をユーザが手動で行うことができる。
【００９４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９５】
例えば、上述した画像処理サーバ１、およびクライアント装置２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、画像処理サーバ１、およびクライアント装置２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【００９６】
また、画像処理サーバ１の一部または全部の機能を、クライアント装置２が有していてもよい。
【００９７】
また、クライアント装置２の一部の機能が別体に設けられていてもよい。例えば、図３に示すクライアント装置２の構成が、図１に示す円柱形状のカメラ装置とスマートフォンとに分かれて設けられるシステムが提案される。この場合、スマートフォンが円柱形状のカメラ装置と近距離無線通信を行って第１、第２の空画像を取得し、ネットワーク３を介して画像処理サーバ１に第１、第２の空画像を送信し得る。具体的には、図３に示す構成のうち、ＣＰＵ２０の各機能（第１の取得部２０ａ、第２の取得部２０ｂ、通信制御部２０ｃ、通知制御部２０ｄ）、日時センサ２８、出力部３０、および操作入力部３１がスマートフォンに設けられ、撮像部２６、位置センサ２７、および姿勢センサ２９が円柱形状のカメラ装置に設けられる。
【００９８】
また、クライアント装置２の第２の取得部が撮像部２６によりリファレンス画像としての広角画像を取得する際、撮像部２６のズーム機能を制御して広角画像を取得してもよいし、広角レンズに切り替えて取得してもよい。
【００９９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１００】
なお、本技術は以下のような構成も取ることができる。
（１）
クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得する取得部と、
前記取得部により取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成する生成部と、
を備える、画像処理システム。
（２）
前記取得部は、前記取得された空の画像より広範囲を撮像した空の画像に対応する、撮影日時情報および位置識別情報を含むリファレンス画像を取得し、
前記生成部は、前記リファレンス画像と、前記取得された空の画像とを比較することにより、前記複数の空の画像の配置を調整して前記合成を実行する、前記（１）に記載の画像処理システム。
（３）
前記生成部は、前記取得された空の画像に含まれる天体の位置に応じて、前記複数の空の画像の配置を調整して前記合成を実行する、前記（１）または（２）に記載の画像処理システム。
（４）
前記生成部は、前記取得された空の画像の特徴に応じて、前記複数の空の画像の配置を調整して前記合成を実行する、前記（１）〜（３）のいずれか１項に記載の画像処理システム。
（５）
前記生成部は、前記取得された空の画像に含まれる、クライアントの投射部から投射された特定のパターンを特徴として、前記複数の空の画像の配置を調整して前記合成を実行する、前記（４）に記載の画像処理システム。
（６）
前記生成部は、前記複数の空の画像を、撮影日時情報および位置識別情報に応じて連続するよう張り合わせて合成することで、より広範囲な空の画像を生成する、前記（１）〜（５）のいずれか１項に記載の画像処理システム。
（７）
前記生成部は、前記合成によって生成された合成画像における空隙個所を強調する強調画像を生成する、前記（１）〜（６）のいずれか１項に記載の画像処理システム。
（８）
前記空隙個所を強調する強調画像は、前記空隙個所に合致する空の画像の補充をユーザに促す表示を含む、前記（７）に記載の画像処理システム。
（９）
撮像部によって第１の画角で撮像された第１の空の画像を取得する第１の取得部と、
撮像部によって前記第１の画角よりも広い画角で撮像された第２の空の画像を取得する第２の取得部と、
クライアント装置の位置を検出する位置検出部と、
現在の日時を検出する日時検出部と、
前記第１の取得部により前記第１の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および前記第１の空の画像、あるいは前記第２の取得部により前記第２の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および第２の空の画像を、選択的にサーバに送信する通信部と、
を備える、クライアントシステム。
（１０）
前記クライアントシステムは、
前記撮像部が空に向いていることを検知する検知部をさらに備え、
前記第１の取得部は、前記検知部による検知結果に応じて、前記撮像部が空に向いている際、前記第１の画角で前記第１の空の画像を自動的に取得する、前記（９）に記載のクライアントシステム。
（１１）
前記クライアントシステムは、
撮像部が空に向いていることを検知する検知部と、
前記検知部による検知結果に応じて、前記撮像部が空に向いていることをユーザに通知する通知部と、をさらに備える、前記（９）に記載のクライアントシステム。
（１２）
前記通知部は、画像、音、または振動で通知する、前記（１１）に記載のクライアントシステム。
（１３）
前記クライアントシステムは、
特定のパターンを投射する投射部をさらに備え、
前記第１、第２の取得部は、前記特定のパターンが投射された空の画像を取得する、前記（９）〜（１２）のいずれか１項に記載のクライアントシステム。
（１４）
クライアントにより撮影された、撮影日時情報および撮影位置を識別可能な位置識別情報を含む空の画像を取得することと、
前記取得された複数の空の画像を、それぞれの撮影日時情報および位置識別情報に応じて合成することで、より広範囲な空の画像を生成することと、
を含む、画像処理方法。
（１５）
コンピュータを、
撮像部によって第１の画角で撮像された第１の空の画像を取得する第１の取得部と、
撮像部によって前記第１の画角よりも広い画角で撮像された第２の空の画像を取得する第２の取得部と、
クライアント装置の位置を検出する位置検出部と、
現在の日時を検出する日時検出部と、
前記第１の取得部により前記第１の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および前記第１の空の画像、あるいは前記第２の取得部により前記第２の空の画像が取得された日時を示す日時情報、前記検出された位置情報、および第２の空の画像を、選択的にサーバに送信する通信部と、
として機能させるためのプログラムが記憶された、記憶媒体。
【符号の説明】
【０１０１】
１    画像処理サーバ
１０    制御部
１０ａ    合成画像生成部
１０ｂ    通信制御部
１１    通信部
１４    画像ＤＢ
２、２Ａ〜２Ｃ    クライアント装置
２０    ＣＰＵ
２０ａ    第１の取得部
２０ｂ    第２の取得部
２０ｃ    通信制御部
２０ｄ    通知制御部
２２    ＲＯＭ
２３    ＲＡＭ
２４    記憶部
２５    通信Ｉ／Ｆ
２６    撮像部
２７    位置センサ
２８    日時センサ
２９    姿勢センサ
３０    出力部
３１    操作入力部
【図１】
2016025620.tif 000003
【図２】
2016025620.tif 000004
【図３】
2016025620.tif 000005
【図４】
2016025620.tif 000006
【図５】
2016025620.tif 000007
【図６】
2016025620.tif 000008
【図７】
2016025620.tif 000009
【図８】
2016025620.tif 000010