(57)【要約】【課題】位置情報が関連付けられた画像の閲覧時における利便性を向上させる。【解決手段】画像表示装置１は、出力部１７と、入力部１６と、操作判断部１１２と、周辺画像取得部１１３と、表示制御部１１５と、を備える。出力部１７は、位置情報が関連付けられた撮影画像を表示する。入力部１６は、操作の受け付けを検出する。操作判断部１１２は、出力部１７による撮影画像の表示時に、入力部１６によって検出された操作に基づき、撮影画像の表示態様の変更を指示されたか否かを判断する。周辺画像取得部１１３は、撮影画像に関連付けられた位置情報に基づいた周辺画像を、画像表示装置１外部から取得する。表示制御部１１５は、操作判断部１１２により肯定と判断された場合に、周辺画像取得部１１３によって取得された周辺画像を出力部１７に表示するよう制御する。【選択図】図３
2020057297.tif 000002
【特許請求の範囲】
【請求項１】
画像表示装置であって、
位置情報が関連付けられた第１画像を表示する表示手段と、
操作の受け付けを検出する検出手段と、
前記表示手段による前記第１画像の表示時に、前記検出手段によって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断手段と、
前記第１画像に関連付けられた位置情報に基づいた第２画像を、前記画像表示装置外部から取得する取得手段と、
前記判断手段により肯定と判断された場合に、前記取得手段によって取得された前記第２画像を前記表示手段に表示するよう制御する表示制御手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
当該装置外部のデータベースと通信する通信手段を更に備え、
前記取得手段は、前記通信手段を介して前記第１画像に関連付けられた位置情報を前記データベースへ送信し、その応答として前記データベースから前記位置情報に基づいた第２画像を取得することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記第１画像に関連付けられた位置情報とは、前記第１画像が撮影された位置を示す情報であり、
前記第２画像とは、前記第１画像が撮影された位置周辺の画像であることを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記表示制御手段は、前記第１画像と前記第２画像とを合成して前記表示手段に表示するよう制御することを特徴とする請求項３に記載に画像表示装置。
【請求項５】
前記判断手段は、前記検出手段によって検出された操作が、前記表示された第１画像の縮小操作又は前記表示された第１画像の移動操作を含む場合に、肯定と判断することを特徴とする請求項１乃至４の何れか１項に記載に画像表示装置。
【請求項６】
撮影により前記第１画像を生成する撮像手段と、
前記撮像手段が生成した前記第１画像に、位置情報を関連付けするよう制御する位置情報制御手段と、
を更に備えることを特徴とする請求項１乃至５の何れか１項に記載に画像表示装置。
【請求項７】
前記第１画像を解析する画像解析手段を更に備え、
前記取得手段は、前記画像解析手段の解析結果に基づいて、前記第２画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の画像表示装置。
【請求項８】
コンピュータが行う画像表示方法であって、
位置情報が関連付けられた第１画像を表示手段に表示する表示ステップと、
操作の受け付けを検出する検出ステップと、
前記表示ステップによる前記第１画像の表示時に、前記検出ステップによって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断ステップと、
前記第１画像に関連付けられた位置情報に基づいた第２画像を、当該コンピュータ外部から取得する取得ステップと、
前記判断ステップにより肯定と判断された場合に、前記取得ステップによって取得された前記第２画像を前記表示手段に表示するよう制御する表示制御ステップと、
を有することを特徴とする画像表示方法。
【請求項９】
コンピュータを、
位置情報が関連付けられた第１画像を表示部に表示させる表示手段、
操作の受け付けを検出する検出手段、
前記表示手段による前記第１画像の表示時に、前記検出手段によって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断手段、
前記第１画像に関連付けられた位置情報に基づいた第２画像を、当該コンピュータ外部から取得する取得手段、
前記判断手段により肯定と判断された場合に、前記取得手段によって取得された前記第２画像を前記表示部に表示するよう制御する表示制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、撮影により得られた画像の閲覧時に、この画像と関連する情報を表示する表示処理装置が知られている。例えば、画像に関連する情報として、画像に関連付けられた位置の周辺情報を表示する表示処理装置が知られている（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術等の一般的な技術における周辺情報とは、もっぱら周辺の地図の画像や、その地図内に所在するスポットのテキスト情報である。そのため、一般的な技術を利用した場合は、ユーザが撮影位置の周辺の様子を理解する点で利便性に欠けているという側面があった。
【０００５】
本願発明は、このような状況に鑑みてなされたものであり、位置情報が関連付けられた画像の閲覧時における利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像表示装置は、
位置情報が関連付けられた第１画像を表示する表示手段と、
操作の受け付けを検出する検出手段と、
前記表示手段による前記第１画像の表示時に、前記検出手段によって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断手段と、
前記判断手段により肯定と判断された場合に、前記第１画像に関連付けられた位置情報に対応する位置で撮影された第２画像を当該装置外部から取得する取得手段と、
前記取得手段によって取得された前記第２画像を前記表示手段に表示するよう制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、位置情報が関連付けられた画像の閲覧時における利便性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像表示システムＳの構成を示すシステム構成図である。
【図２】本発明の画像表示装置の一実施形態に係る画像表示装置１のハードウェアの構成を示すブロック図である。
【図３】図２の画像表示装置１の機能的構成のうち、周辺画像表示処理を実行するための機能的構成を示す機能ブロック図である。
【図４】画像表示システムＳにおいて、図３の機能的構成を有する図１の画像表示装置１が実行する周辺画像表示処理の流れを説明する第１のフローチャートである。
【図５】画像表示システムＳにおいて、図３の機能的構成を有する図１の画像表示装置１が実行する周辺画像表示処理の流れを説明する第２のフローチャートである。
【図６】周辺画像表示処理における表示例を示す第１の模式図である。
【図７】周辺画像表示処理における表示例を示す第２の模式図である。
【図８】周辺画像表示処理における表示例を示す第３の模式図である。
【図９】変形例１における周辺画像表示処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
［システム全体構成］
図１は、本発明の一実施形態に係る画像表示システムＳの構成を示すシステム構成図である。
図１に示すように、画像表示システムＳは、画像表示装置１と、撮像装置２と、画像データベース３と、ネットワーク４と、を含んで構成される。画像表示装置１と、撮像装置２は、通信可能に接続される。また、画像表示装置１と、画像データベース３も、通信可能に接続される。これら通信は、任意の規格に準拠した通信であってよい。例えば、画像表示装置１と、撮像装置２との通信は、Ｗｉ−Ｆｉ（登録商標）に準拠した通信により実現される。また、例えば、画像表示装置１と、画像データベース３との通信は、インターネットであるネットワーク４を介した通信により実現される。
【００１０】
画像表示装置１は、画像表示機能や、通信機能や、位置測位機能を備えた装置である。画像表示装置１は、例えば、スマートフォンにより実現される。
撮像装置２は、撮影機能や、通信機能を備えた装置である。撮像装置２は、例えば、デジタルカメラにより実現される。
【００１１】
画像データベース３は、様々な場所での撮影により得られた、広角の風景画像（例えば、撮影位置の周囲３６０度を撮影した全方位画像や全天周画像）が格納されたデータベースである。この広角の風景画像は、例えば、広角な魚眼レンズを使用した撮影により生成される。あるいは、この広角の風景画像は、例えば、異なる視点位置から撮影した画像を繋ぎ合わせることにより生成される。そして、例えば、所定の事業者が、このようにして生成した広角の風景画像を蓄積することによって画像データベース３は実現される。
例えば、画像データベース３は、下記の＜参考文献＞に記載の技術が適用されたサーバ装置を含むことで実現される。
【００１２】
＜参考文献＞
特表２０１１−５２７４８３号公報
【００１３】
このような構成を有する画像表示システムＳにおいて、撮像装置２は、ユーザの撮影操作に応じて画像（以下、「撮影画像」と称する。）を生成する。
また、画像表示装置１は、撮像装置２から撮影画像を取得し、取得した撮影画像に位置情報を関連付ける。この位置情報は、例えば、画像表示装置１が測位したものを利用する。ここで、本実施形態では、画像表示装置１と撮像装置２は、同一のユーザが携帯して近距離にて使用することを想定する。そのため、この画像表示装置１が測位した位置情報は、実質的に、撮像装置２が撮影を行った位置を示す位置情報となる。
【００１４】
また、画像表示装置１は、この位置情報に対応する位置で撮影された、周辺の風景画像（以下、「周辺画像」と称する。）を画像データベース３から取得する。
そして、画像表示装置１は、撮影画像の表示時に、ユーザから所定の操作を受け付けた場合に、更に周辺画像を表示する。例えば、撮影画像と周辺画像を切り替えて表示したり、撮影画像と周辺画像を合成して表示したりする。このようにして表示される周辺画像を参照したユーザは、撮影位置の周辺の様子を、視覚によって容易に理解することができる。
つまり、画像表示システムＳによれば、位置情報が関連付けられた画像の閲覧時における利便性を向上させることが可能となる。
【００１５】
次に、画像表示システムＳにおいて主たる処理を行う画像表示装置１のハードウェア構成及び機能ブロックについて、図２及び図３を参照して説明をする。
【００１６】
［ハードウェア構成］
図２は、本発明の画像表示装置の一実施形態に係る画像表示装置１のハードウェアの構成を示すブロック図である。
画像表示装置１は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、撮像部２０と、測位部２１と、ドライブ２２と、を備えている。
【００１７】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。これらプログラムは、例えば、画像表示装置１の各部を動作させるためのオペレーティングシステムやファームウェア、あるいは、後述の機能ブロックを実現するためのアプリケーションソフトウェアといったプログラムである。
【００１８】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１９】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９、撮像部２０、測位部２１、及びドライブ２２が接続されている。
【００２０】
入力部１６は、各種釦等で構成され、ユーザの指示操作を受け付け、受け付けた指示操作に応じて各種情報を入力する。
出力部１７は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。なお、例えば、タッチパネルにより、入力部１６と出力部１７とを一体にして実現してもよい。
記憶部１８は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部１９は、他の装置との間で行う通信を制御する。例えば、図１を参照して上述した、撮像装置２との間で行う通信や、画像データベース３との間で行う通信を制御する。
【００２１】
撮像部２０は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２２】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮影）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２０の出力信号として出力される。
このような撮像部２０の出力信号を撮影画像のデータとしてＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００２３】
測位部２１は、画像表示装置１の現在位置を測位する。例えば、測位部２１は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）における衛星から発信される電波を受信して電気信号に変換する。また、測位部２１は、この変換後の電気信号に基づいて、ＧＰＳによって示される画像表示装置１の現在位置（例えば、緯度、経度、及び高度により特定される現在位置）を測位する。
【００２４】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像のデータ等の各種データも、記憶部１８と同様に記憶することができる。
【００２５】
［機能ブロック］
図３は、図２の画像表示装置１の機能的構成のうち、周辺画像表示処理を実行するための機能的構成を示す機能ブロック図である。
ここで、周辺画像表示処理とは、上述したように、撮影画像表示時に、更に周辺画像を表示する一連の処理をいう。
【００２６】
周辺画像表示処理を実行する場合、図３に示すように、ＣＰＵ１１において、撮影画像取得部１１１と、操作判断部１１２と、周辺画像取得部１１３と、画像処理部１１４と、表示制御部１１５と、が機能する。
また、周辺画像表示処理を実行する場合、記憶部１８の一領域には、撮影画像記憶部１８１と、周辺画像記憶部１８２と、が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、周辺画像表示処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。
【００２７】
撮影画像記憶部１８１には、撮像装置２から取得した撮影画像のデータが記憶される。撮影画像は、後述の撮影画像取得部１１１により取得され、撮影画像記憶部１８１に格納される。
周辺画像記憶部１８２には、画像データベース３から取得した周辺画像のデータが記憶される。周辺画像は、後述の周辺画像取得部１１３により取得され、周辺画像記憶部１８２に格納される。
【００２８】
撮影画像取得部１１１は、通信部１９を介した通信により、撮像装置２から撮影画像を取得する。
撮影画像は、例えば、撮像装置２が撮影を行った時点で、画像表示装置１に送信され、撮影画像取得部１１１により取得される。この場合、撮影画像取得部１１１は、撮影画像を取得すると、その時点での画像表示装置１の現在位置を示す位置情報を測位部２１から取得する。
【００２９】
あるいは、撮影画像は、例えば、撮像装置２が撮影を行った時刻を示す情報と共に、画像表示装置１に送信され、撮影画像取得部１１１により取得される。この場合、撮影画像取得部１１１は、撮影画像と共に送信された情報により撮影時刻を特定する。そして、撮影画像取得部１１１は、測位部２１のログ情報から、特定した撮影時刻に対応する測位時刻に測位した、画像表示装置１の現在位置を示す位置情報を取得する。
【００３０】
そして、撮影画像取得部１１１は、取得した撮影画像に、取得した現在位置を示す位置情報を関連付けて撮影画像記憶部１８１に格納することにより、取得した撮影画像を撮影画像記憶部１８１に記憶させる。
なお、本実施形態では、画像表示装置１と撮像装置２は、同一のユーザが携帯して近距離にて使用することを想定ため、この測位部２１が測位した位置情報は、実質的に、撮像装置２が撮影を行った位置を示す位置情報となる点については、上述した通りである。
【００３１】
操作判断部１１２は、ユーザが画像表示装置１に対して行った指示操作に基づいて、ユーザからの指示内容を判断する。なお、このユーザからの指示操作は、入力部１６を実現する各種釦や、タッチパネルにより受け付けられる。操作判断部１１２が判断したユーザからの指示内容は、指示内容に関連する各機能ブロックに対して出力される。
【００３２】
周辺画像取得部１１３は、周辺画像を取得する。周辺画像取得部１１３は、例えば、表示する撮影画像が選択された場合に、この撮影画像に関連付けられている位置情報を読み出す。また、周辺画像取得部１１３は、この位置情報を含んだ要求情報を、画像データベース３に対して送信する。そして、周辺画像取得部１１３は、この要求情報の応答として、画像データベース３から、送信した位置情報に対応する周辺画像を取得する。撮影画像取得部１１１は、取得した周辺画像を周辺画像記憶部１８２に格納することにより、取得した周辺画像を周辺画像記憶部１８２に記憶させる。
【００３３】
画像処理部１１４は、周辺画像を表示するための画像処理を行う。例えば、画像処理部１１４は、撮影画像と周辺画像に対して画像解析を行うことにより、撮影画像と周辺画像との対応関係を特定する。具体的には、画像処理部１１４は、周辺画像における撮影画像に対応する位置（すなわち、周辺画像における、撮影画像と同じ撮影方角の同じ撮影範囲に対応する位置）を特定する。
この場合、例えば、画像処理部１１４は、撮影画像及び周辺画像のそれぞれにおける被写体のエッジや特徴点を検出し、これらのマッチング処理を行うことにより、周辺画像における撮影画像に対応する位置を特定する。あるいは、画像処理部１１４は、撮影画像及び周辺画像に、撮影時の撮影方角を示す情報がジオタグ等として関連付けられている場合は、この撮影方角を示す情報に基づいて、周辺画像における撮影画像に対応する位置を特定する。
【００３４】
そして、画像処理部１１４は、特定した周辺画像における撮影画像に対応する位置を、表示制御部１１５に対して出力する。
なお、画像処理部１１４は、その他の画像処理を行う機能を更に有していてもよい。例えば、画像処理部１１４は、特定した周辺画像における撮影画像に対応する位置に基づいて、撮影画像と周辺画像とを、ユーザが観察した場合に違和感が生じないように合成する処理を行なう、といった機能を有していてもよい。なお、このようにして撮影画像と周辺画像とを適切に合成した画像を、以下では、「合成画像」と称する。
【００３５】
表示制御部１１５は、ユーザからの指示内容に応じて、出力部１７に表示する画像を制御する。例えば、表示制御部１１５は、ユーザが選択した撮影画像を出力部１７に表示するための制御をする。また、表示制御部１１５は、ユーザから所定の操作があった場合に、画像処理部１１４から出力された周辺画像における撮影画像に対応する位置に基づいて、撮影画像と周辺画像を相互に切り替えて出力部１７に表示するための制御をする。あるいは、表示制御部１１５は、ユーザから所定の操作があった場合に、合成画像を出力部１７に表示するための制御をする。
【００３６】
この所定の操作とは、例えば、撮影画像の表示範囲の変更を伴う処理を指示する操作である。より具体的には、例えば、縮小操作（例えば、ピンチイン）や、撮影画像の拡大操作（例えば、ピンチアウト）や、撮影画像の移動操作（例えば、スワイプ）である。
【００３７】
また、表示制御部１１５は、各画像を表示したり、ユーザからの操作指示を受け付けたりするためのユーザインタフェースも出力部１７に表示する。
なお、表示制御部１１５の制御により出力部１７に表示される画面の表示例については、以下説明する［表示例］の欄において、図６、図７、及び図８を参照して説明する。
【００３８】
［動作］
図４及び図５は、画像表示システムＳにおいて、図３の機能的構成を有する図１の画像表示装置１が実行する周辺画像表示処理の流れを説明するフローチャートである。なお、図７には、画像表示装置１による処理に対応して行われる、画像データベース３の処理も図示する。
周辺画像表示処理は、ユーザによる入力部１６への操作指示により開始される。例えば、周辺画像表示処理を実現するアプリケーションソフトウェアの起動指示により開始される。
【００３９】
先ず表示制御部１１５は、撮影画像記憶部１８１に記憶されている撮影画像の一覧を出力部１７に一覧表示する（ステップＳ１１）。
【００４０】
操作判断部１１２は、一覧表示されている撮影画像の何れかがユーザの操作指示において選択されたか否かを判定する（ステップＳ１２）。一覧表示されている撮影画像の何れもユーザの操作指示において選択されない場合（ステップＳ１２においてＮｏ）、ステップＳ１１の撮影画像の一覧表示に戻る。一方で、一覧表示されている撮影画像の何れかがユーザの操作指示において選択された場合（ステップＳ１２においてＹｅｓ）、処理はステップＳ１３に進む。
【００４１】
周辺画像取得部１１３は、ステップＳ１２において選択された撮影画像に関連付けられている、撮影位置を示す位置情報を読み出す（ステップＳ１３）。
【００４２】
周辺画像取得部１１３は、ステップＳ１３において読み出された位置情報を含また要求情報を生成し、この生成した要求情報を画像データベース３に対して送信する（ステップＳ１４）。
【００４３】
他方、画像データベース３は、送信された要求情報を受信したか否かを判定する（ステップＳ３１）。要求情報を受信していない場合（ステップＳ３１においてＮｏ）、画像データベース３は要求待機状態に戻る。一方で、要求情報を受信した場合（ステップＳ３１においてＹｅｓ）、処理はステップＳ３２に進む。
【００４４】
画像データベース３は、要求情報に含まれる位置情報に基づいて、自身が備えるデータベースのなかから周辺画像を検索する（ステップＳ３２）。具体的には、要求情報に含まれる位置情報に対応する位置を、撮影位置としている周辺画像を検索する。
【００４５】
画像データベース３は、ステップＳ３２において検索にて特定された周辺画像を、ステップＳ１４において送信された要求情報の応答として、画像表示装置１に対して送信する（ステップＳ３３）。
【００４６】
他方、周辺画像取得部１１３は、この要求情報の応答として、周辺画像を受信したか否かを判定する（ステップＳ１５）。周辺画像を受信していない場合（ステップＳ１５においてＮｏ）、周辺画像を受信待機状態となる。一方で、周辺画像を受信した場合（ステップＳ１５においてＹｅｓ）、処理は図５のステップＳ１６に進む。
【００４７】
図５に進み、表示制御部１１５は、ステップＳ１２において選択された撮影画像を出力部１７に表示する（ステップＳ１６）。ユーザは、この表示された撮影画像を閲覧することができる。
【００４８】
操作判断部１１２は、ステップＳ１６において表示された撮影画像を閲覧したユーザからの、所定の操作指示を検出したか否かを判定する（ステップＳ１７）。ここで所定の操作とは、上述したように、例えば、拡大操作や縮小操作、あるいは移動操作といった、撮影画像の表示範囲の変更を伴う処理を指示する操作である。所定の操作指示を検出していない場合（ステップＳ１７においてＮｏ）、選択された撮影画像の表示を維持する。一方で、所定の指示操作を検出した場合（ステップＳ１７においてＹｅｓ）、処理はステップＳ１８に進む。
【００４９】
操作判断部１１２は、ステップＳ１７において検出した、ユーザからの所定の操作指示に基づいて、撮影画像の表示範囲を変更した場合に、撮影画像の撮影範囲外を表示することになるか否かを判定する（ステップＳ１８）。すなわち、ユーザからの所定の操作指示の内容が、撮影画像の撮影範囲外の表示指示であるか否かを判定する。撮影画像の撮影範囲外の表示指示でない場合（ステップＳ１８においてＮｏ）、処理はステップＳ２１に進む。一方で、撮影画像の撮影範囲外の表示指示である場合（テップＳ１８においてＹｅｓ）、処理はステップＳ１９に進む。
【００５０】
画像処理部１１４は、周辺画像からステップＳ１７において検出した表示指示に対応する画像領域を抽出する（ステップＳ１９）。例えば、ステップＳ１７において、撮影画像に隣接する撮影範囲の表示指示がなされた場合は、この隣接する撮影範囲に対応する画像領域を周辺画像から抽出する。
【００５１】
表示制御部１１５は、ステップＳ１９において周辺画像から抽出された画像領域を出力部１７に表示する（ステップＳ２０）。これにより、ステップＳ１７において検出した表示指示に応じた画像を表示することができる。
【００５２】
表示制御部１１５は、撮影画像における、ステップＳ１７において検出した表示指示に対応する画像領域を出力部１７に表示する（ステップＳ２１）。これにより、ステップＳ１９と同様に、ステップＳ１７において検出した表示指示に応じた画像を表示することができる。
【００５３】
操作判断部１１２は、ユーザからの、本処理の終了指示を検出したか否かを判定する（ステップＳ２２）。終了指示を検出していない場合（ステップＳ２２においてＮｏ）、処理はステップＳ１７に戻って繰り返される。一方で、終了指示を検出した場合（ステップＳ２２においてＹｅｓ）、本処理は終了する。
【００５４】
以上説明したようにして周辺画像表示処理が実現し、撮影画像の表示時に、ユーザから所定の操作を受け付けた場合に、更に周辺画像を表示することが可能となる。これにより、位置情報が関連付けられた画像の閲覧時における利便性を向上させることが可能となる。
【００５５】
［表示例］
周辺画像表示処理において、表示制御部１１５の制御により出力部１７に表示される表示の画面遷移の例について、図６、図７、及び図８を参照して説明をする。ここで、図６、図７、及び図８は、それぞれ、周辺画像表示処理における表示例を示す模式図である。
なお、図６、図７、及び図８に示すように、本例では、画像表示装置１の出力部１７は、スマートフォンの前面に配置されたタッチパネルとして実現される場合を想定する。また、本例では、表示制御部１１５は、タッチパネルを表示領域ＡＲ１と、表示領域ＡＲ２の２つの表示領域に区分して表示を行う。
【００５６】
上述したステップＳ１６における処理により、ユーザにより選択された撮影画像が表示される。例えば、図６（Ａ）に示すように、表示領域ＡＲ１に撮影画像の撮影位置に対応する位置を含んだ地図が表示される。この地図では、撮影位置を示すアイコン５１が表示される。また、表示領域ＡＲ２に撮影画像が表示される。この撮影画像では、被写体となった人物が被写体５２として背景となる画像と共に表示される。
【００５７】
また、他の例として、例えば、図６（Ｂ）に示すように、表示領域ＡＲ１に撮影画像を表示し、表示領域ＡＲ２に情報５３として示すように、撮影画像の撮影位置に対応する情報（ここでは、撮影位置の名称を示すテキスト）を表示する。
なお、ユーザの操作指示に応じて、図６（Ａ）に示す表示例と、図６（Ｂ）に示す表示例を切り替えて表示するようにしてもよい。
【００５８】
また、図７（Ｃ）に示すように、ユーザによる所定の操作指示を受け付けるための、操作ボタン５４（ここでは、「周辺」とのテキストが付された操作ボタン）を表示する。そして、この操作ボタン５４の押下操作を受け付けた場合、図７（Ｄ）に示すように表示領域ＡＲ１の表示内容を遷移させる。
【００５９】
具体的には、図７（Ｄ）に示すように、表示領域ＡＲ１に撮影画像を表示する。そして、概念領域ＡＲ３には、画像データベース３から取得した、撮影画像に対応する周辺画像を、位置関係を対応させて配置する。ここで、概念領域ＡＲ３は、実際に表示がなされる領域ではなく、本実施形態の処理を説明するために図示する概念的な領域である。
【００６０】
この場合に、図７（Ｅ）に示すように、表示領域ＡＲ１で、ユーザの操作指示を受け付ける。例えば、ユーザから、ユーザの手６０がタッチパネルに接した状態で横方向にスライドするスワイプを操作指示として受け付ける。これは、所定の操作であるので、上述のステップＳ１７においてＹｅｓと判定される。また、撮影範囲外の表示指示であるので、上述のステップＳ１８においてもＹｅｓと判定される。
【００６１】
すると、図７（Ｆ）に示すように、撮影画像から、概念領域ＡＲ３に配置されていた周辺画像に表示が切り替えられる。例えば、撮影画像に正対して左方向に移動を指示するスワイプを受け付けた場合は、周辺画像における、撮影画像に対応する位置よりも左側の画像（周辺画像の撮影位置から正対した場合に東側の画像）が抽出され、表示領域ＡＲ１に表示される（ステップＳ１９及びステップＳ２０）。その後、更にユーザの操作指示に応じて周辺画像の他の位置の画像が表示される。
【００６２】
また、例えば、図７（Ｆ）の表示において、撮影画像に正対して右方向に移動を指示するスワイプを受け付けた場合は、撮影範囲外の表示指示ではなくなるので、ステップＳ１８においてＮｏと判定され、再度撮影画像が表示される（ステップＳ２１）。
【００６３】
このようにして、画像表示装置１は、撮影画像の表示時に、ユーザから所定の操作を受け付けた場合に、更に周辺画像を表示する。このようにして表示される周辺画像を参照したユーザは、撮影位置の周辺の様子を、視覚によって容易に理解することができる。
つまり、画像表示装置１によれば、位置情報が関連付けられた画像の閲覧時における利便性を向上させることが可能となる。
【００６４】
［構成例］
以上のように構成される画像表示装置１は、出力部１７と、入力部１６と、操作判断部１１２と、周辺画像取得部１１３と、表示制御部１１５と、を備える。
出力部１７は、位置情報が関連付けられた撮影画像を表示する。
入力部１６は、操作の受け付けを検出する。
操作判断部１１２は、出力部１７による撮影画像の表示時に、入力部１６によって検出された操作に基づき、撮影画像の表示態様の変更を指示されたか否かを判断する。
周辺画像取得部１１３は、撮影画像に関連付けられた位置情報に基づいた周辺画像を画像表示装置１外部から取得する。
表示制御部１１５は、操作判断部１１２により肯定と判断された場合に（すなわち、操作判断部１１２により出力部１７による撮影画像の表示時に、入力部１６によって検出された操作に基づき、撮影画像の表示態様の変更を指示されたと判断された場合に）、周辺画像取得部１１３によって取得された周辺画像を出力部１７に表示するよう制御する。
これにより、画像表示装置１は、撮影画像の表示時に、ユーザから所定の操作を受け付けた場合に、更に周辺画像を表示することができる。つまり、画像表示装置１によれば、位置情報が関連付けられた画像の閲覧時における利便性を向上させることができる。
【００６５】
画像表示装置１は、通信部１９を更に備える。
通信部１９は、当該装置外部の画像データベース３と通信する。
周辺画像取得部１１３は、通信部１９を介して撮影画像に関連付けられた位置情報を画像データベース３へ送信し、その応答として画像データベース３から位置情報に基づいた周辺画像を取得する。
これにより、ユーザに対して、画像データベース３に蓄積された周辺画像を閲覧させることができる。
【００６６】
撮影画像に関連付けられた位置情報とは、撮影画像が撮影された位置を示す情報であり、
周辺画像とは、撮影画像が撮影された位置を含む周辺の風景画像である。
これにより、ユーザに対して、撮影画像と、この撮影画像が撮影された位置を含む周辺の風景画像とを共に閲覧させることができる。
【００６７】
表示制御部１１５は、撮影画像と風景画像である周辺画像とを、観察した場合に違和感が生じないように合成して、出力部１７に表示するよう制御する。
これにより、ユーザに対して、撮影画像と、風景画像とを違和感なく合成した上で閲覧させることができる。
【００６８】
操作判断部１１２は、入力部１６によって検出された操作が、表示された撮影画像の縮小操作又は表示された撮影画像の移動操作を含む場合に、肯定と判断する。
これにより、操作に応じて、撮影画像の縮小や移動を行う場合に、撮影画像の表示範囲外となったとしても、ユーザに対して、代わりに周辺画像を閲覧させることができる。
【００６９】
画像表示装置１は、撮像部２０を更に備える。
撮像部２０は、撮影により撮影画像を生成する。
撮影画像取得部１１１は、撮像部２０が生成した撮影画像に、位置情報を関連付けするよう制御する。
これにより、位置情報が関連付けられた撮影画像を取得することができる。
【００７０】
画像表示装置１は、画像処理部１１４を更に備える。
画像処理部１１４は、撮影画像を解析する。
周辺画像取得部１１３は、画像処理部１１４の解析結果に基づいて、周辺画像を取得する。
これにより、位置情報が関連付けられていない撮影画像に基づいて、周辺画像を取得することができる。
【００７１】
［変形例］
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を変形し、以下に例示するような変形例とすることができる。また、以下に例示するような変形例を組み合わせることもできる。
【００７２】
［変形例１］
上述した実施形態では、撮影画像における撮影範囲外の表示指示があった場合（ステップＳ１８においてＹｅｓ）、周辺画像から表示指示に対応する画像領域を抽出していた（ステップＳ１９）。そして、周辺画像から抽出された画像領域を表示していた（ステップＳ２０）。すなわち、撮影画像と周辺画像を切り替えて表示していた。これに限らず、ステップＳ１８においてＹｅｓと判定された場合に、合成画像を表示するようにしてもよい。
【００７３】
この場合の周辺画像表示処理の流れについて、図９を参照して説明する。図９は、本変形例における周辺画像表示処理の流れを説明するフローチャートである。なお、上述の実施形態と同様の処理を行うステップについては、図中において同じ符号を付すと共に、再度の説明を省略する。
【００７４】
図４を参照して上述したステップＳ１１からステップＳ１５まで（併せてステップＳ３１からステップＳ３３まで）が終了すると、本変形例では、図９のステップＳ１６に処理が進む。その後、ステップＳ１８においてＹｅｓと判定されると、本変形例ではステップＳ４１に進む。
【００７５】
画像処理部１１４は、周辺画像における撮影画像に対応する位置に基づいて、撮影画像と周辺画像とを、ユーザが観察した場合に違和感が生じないように合成することにより、合成画像を生成する（ステップＳ４１）。
【００７６】
表示制御部１１５は、ステップＳ１８において生成した合成画像について、ユーザからの表示指示に対応する画像領域を出力部１７に表示する。
これにより、撮影画像と周辺画像を切り替えて表示するのではなく、違和感が生じないように合成された合成画像を表示することが可能となる。そのため、例えば、ユーザからスワイプ等の撮影画像の移動操作を受け付けた場合に、撮影画像と周辺画像の切り替わりをユーザに感じさせることなく、連続的に表示変化させることが可能となる。また、例えば、ユーザからピンチイン等の撮影画像の縮小操作を受け付けた場合に、撮影画像に対応する画像を中央とし、周囲を周辺画像とした合成画像を表示することができる。
【００７７】
［変形例２］
上述した実施形態では、撮影画像に測位部２１による測位に基づいた位置情報を、撮影画像に関連付けていた。そして、この位置情報に基づいて、撮影画像に対応する周辺画像を特定していた。これに限らず、他の方法で撮影画像に対応する周辺画像を特定するようにしてもよい。例えば、画像処理部１１４や画像データベース３が、撮影画像と、データベースに蓄積されている複数の周辺画像との間で、テンプレートマッチング等の手法を用いた画像マッチングを行うようにしてもよい。そして、画像マッチングにより、マッチングした周辺画像を、撮影画像に対応する周辺画像として特定してもよい。
これにより、測位に基づいた位置情報が関連付けられていない撮影画像を対象とした場合も、周辺画像を特定することができる。
【００７８】
また、上述した実施形態のように、位置情報を用いる場合に、更に他の情報も利用するようにしてもよい。例えば、撮影画像に、撮影時の撮影時刻を示す情報がジオタグ等として関連付けられている場合は、位置情報が対応する周辺画像であって、更にこの時刻情報に対応する時間帯に撮影された周辺画像を特定するようにしてもよい。これにより、画像データベース３に、同じ撮影位置で異なる時間帯（例えば、昼の時間帯と、夜の時間帯）に撮影された周辺画像が存在する場合に、撮影画像とより合致する周辺画像を特定することができる。そのため、撮影画像と周辺画像を切り替えて表示する場合や、合成画像を生成する場合に、より違和感が生じない、自然な表示を実現することができる。
【００７９】
［変形例３］
画像表示システムＳに含まれる各機器が備える機能に応じて、処理内容を変形するようにしてもよい。例えば、撮像装置２が測位機能を備える場合には、撮影画像に対して、画像表示装置１が測位した位置情報を関連付けるのではなく、撮像装置２が測位した位置情報を関連付けるようにしてもよい。
また、画像表示システムＳに、例えば、ＧＰＳロガーやスマートウォッチのように、位置測位機能を備える機器が更に存在する場合には、撮影画像に対して、この位置測位機能を備える機器が測位した位置情報を関連付けるようにしてもよい。この場合、位置情報の関連付けは、撮影時に即座にリアルタイムで行われてもよいし、その後に撮影時刻と測位時刻とに基づいて対応する位置情報を特定することにより行われてもよい
更に、例えば、画像表示装置１を単独で利用する場合には、画像表示装置１が撮像部２０により撮影された撮影画像を対象として、上述した実施形態の処理を行うようにしてもよい。
【００８０】
［変形例４］
上述した実施形態では、表示対象となる撮影画像が選択された時点で、ステップＳ１３からステップＳ１３からステップＳ１５まで（併せてステップＳ３１からステップＳ３３まで）を行っていた。すなわち、撮影画像の表示に先立って周辺画像を取得していた。これに限らず、他のタイミングで周辺画像を取得するようにしてもよい。例えば、周辺画像表示処理を行う前の、撮影画像を取得した時点で周辺画像を取得するようにしてもよい。あるいは、ステップＳ１８においてＹｅｓと判定され、周辺画像が必要となった時点で周辺画像を取得するようにしてもよい。
【００８１】
［他の変形例］
また、上述の実施形態では、本発明が適用される画像表示装置１は、スマートフォンを例として説明したが、特にこれに限定されない。
本発明は、画像表示機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００８２】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像表示装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【００８３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８４】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部１８に含まれるハードディスク等で構成される。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００８６】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８７】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像表示装置であって、
位置情報が関連付けられた第１画像を表示する表示手段と、
操作の受け付けを検出する検出手段と、
前記表示手段による前記第１画像の表示時に、前記検出手段によって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断手段と、
前記第１画像に関連付けられた位置情報に基づいた第２画像を、前記画像表示装置外部から取得する取得手段と、
前記判断手段により肯定と判断された場合に、前記取得手段によって取得された前記第２画像を前記表示手段に表示するよう制御する表示制御手段と、
を備えることを特徴とする画像表示装置。
［付記２］
当該装置外部のデータベースと通信する通信手段を更に備え、
前記取得手段は、前記通信手段を介して前記第１画像に関連付けられた位置情報を前記データベースへ送信し、その応答として前記データベースから前記位置情報に基づいた第２画像を取得することを特徴とする付記１に記載の画像表示装置。
［付記３］
前記第１画像に関連付けられた位置情報とは、前記第１画像が撮影された位置を示す情報であり、
前記第２画像とは、前記第１画像が撮影された位置周辺の画像であることを特徴とする付記１又は２に記載の画像表示装置。
［付記４］
前記表示制御手段は、前記第１画像と前記第２画像とを合成して前記表示手段に表示するよう制御することを特徴とする付記３に記載に画像表示装置。
［付記５］
前記判断手段は、前記検出手段によって検出された操作が、前記表示された第１画像の縮小操作又は前記表示された第１画像の移動操作を含む場合に、肯定と判断することを特徴とする付記１乃至４の何れか１項に記載に画像表示装置。
［付記６］
撮影により前記第１画像を生成する撮像手段と、
前記撮像手段が生成した前記第１画像に、位置情報を関連付けするよう制御する位置情報制御手段と、
を更に備えることを特徴とする付記１乃至５の何れか１項に記載に画像表示装置。
［付記７］
前記第１画像を解析する画像解析手段を更に備え、
前記取得手段は、前記画像解析手段の解析結果に基づいて、前記第２画像を取得することを特徴とする付記１乃至６の何れか１項に記載の画像表示装置。
［付記８］
コンピュータが行う画像表示方法であって、
位置情報が関連付けられた第１画像を表示手段に表示する表示ステップと、
操作の受け付けを検出する検出ステップと、
前記表示ステップによる前記第１画像の表示時に、前記検出ステップによって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断ステップと、
前記第１画像に関連付けられた位置情報に基づいた第２画像を、当該コンピュータ外部から取得する取得ステップと、
前記判断ステップにより肯定と判断された場合に、前記取得ステップによって取得された前記第２画像を前記表示手段に表示するよう制御する表示制御ステップと、
を有することを特徴とする画像表示方法。
［付記９］
コンピュータを、
位置情報が関連付けられた第１画像を表示部に表示させる表示手段、
操作の受け付けを検出する検出手段、
前記表示手段による前記第１画像の表示時に、前記検出手段によって検出された操作に基づき、前記第１画像の表示態様の変更を指示されたか否かを判断する判断手段、
前記第１画像に関連付けられた位置情報に基づいた第２画像を、当該コンピュータ外部から取得する取得手段、
前記判断手段により肯定と判断された場合に、前記取得手段によって取得された前記第２画像を前記表示部に表示するよう制御する表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８８】
１・・・画像表示装置，２・・・撮像装置，３・・・画像データベース，４・・・ネットワーク，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・入力部，１７・・・出力部，１８・・・記憶部，１９・・・通信部，２０・・・撮像部，２１・・・測位部，２２・・・ドライブ，３１・・・リムーバブルメディア，１１１・・・撮影画像取得部，１１２・・・操作判断部，１１３・・・周辺画像取得部，１１４・・・画像処理部，１１５・・・表示制御部，１８１・・・撮影画像記憶部，１８２・・・周辺画像記憶部，Ｓ・・・画像表示システム
【図１】
2020057297.tif 000003
【図２】
2020057297.tif 000004
【図３】
2020057297.tif 000005
【図４】
2020057297.tif 000006
【図５】
2020057297.tif 000007
【図６】
2020057297.tif 000008
【図７】
2020057297.tif 000009
【図８】
2020057297.tif 000010
【図９】
2020057297.tif 000011