(57)【要約】【課題】地図上の任意の地点の被写体が写っている画像を検索する。【解決手段】使用者が設定した地図２２上の地点２２ｅを入力する入力処理と、画像ファイルに関連付けられて記録されている画像の撮影位置および撮影方位に基づいて、画像の中に地点２２ｅの被写体が写り込んでいるか否かを判定する判定処理と、複数の画像ファイルの中から地点２２ｅの被写体が写り込んでいる画像ファイルを検索する検索処理とをコンピューターに実行させる。【選択図】図１０
2013182331.tif 000002
【特許請求の範囲】
【請求項１】
使用者が設定した地図上の地点を入力する入力処理と、
画像ファイルに関連付けられて記録されている画像の撮影位置および撮影方位に基づいて、前記画像の中に前記地点の被写体が写り込んでいるか否かを判定する判定処理と、
複数の前記画像ファイルの中から前記地点の被写体が写り込んでいる画像ファイルを検索する検索処理とをコンピューターに実行させることを特徴とする画像表示プログラム。
【請求項２】
請求項１の画像表示プログラムにおいて、
前記判定処理は、前記画像ファイルに関連付けられて記録されている画像の撮影位置、撮影方位および撮影画角に基づいて、前記画像の中に前記地点の被写体が写り込んでいるか否かを判定することを特徴とする画像表示プログラム。
【請求項３】
請求項２に記載の画像表示プログラムにおいて、
前記判定処理は、前記画像ファイルに関連付けられて記録されている画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、前記画像の中に前記地点の被写体が写り込んでいるか否かを判定することを特徴とする画像表示プログラム。
【請求項４】
請求項１〜３のいずれか一項に記載の画像表示プログラムにおいて、
前記地点は、使用者が設定した複数の地点を含む領域であることを特徴とする画像表示プログラム。
【請求項５】
請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、
前記検索処理は、複数の前記画像ファイルの中から、前記画像の中に前記地点の被写体が写り込んでおり、かつ前記画像ファイルに含まれる撮影日または撮影時刻が使用者により指定された撮影日または撮影時刻の前記画像ファイルを検索することを特徴とする画像表示プログラム。
【請求項６】
請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、
前記検索処理は、複数の前記画像ファイルの中から、前記画像の中に前記地点の被写体が写り込んでおり、かつ撮影日または撮影時刻が所定の範囲内の画像ファイルを検索することを特徴とする画像表示プログラム。
【請求項７】
請求項１〜６のいずれか一項に記載の画像表示プログラムにおいて、
検索された複数の前記画像データを合成して前記地点における被写体のパノラマ画像を生成する合成処理をさらにコンピューターに実行させることを特徴とする画像表示プログラム。
【請求項８】
請求項７に記載の画像表示プログラムにおいて、
前記画像合成処理は、複数の画像データの合成の際に、少なくとも一つの合成に使用する画像の画像処理パラメータを設定することを特徴とする画像表示プログラム。
【請求項９】
請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、
複数の前記画像ファイルの中から少なくとも一つの画像ファイルを選択する選択処理をさらに実行させ、
前記検索処理は、前記選択処理により選択された画像ファイルと所定の条件が合う画像ファイルを検索し、
前記検索処理により検索された画像ファイルをユーザに認識可能に出力する出力処理をさらにコンピューターに実行させることを特徴とする画像表示プログラム。
【請求項１０】
複数の画像データを入力するインターフェースと、
画像および地図を表示する表示装置と、
前記表示装置に表示された地図上で地点を設定する操作装置と、
請求項１〜９のいずれか一項に記載の画像表示プログラムを実行するマイクロコンピューターとを備えることを特徴とする画像表示装置。
【請求項１１】
使用者が設定した地図上の地点を入力する入力手段と、
画像ファイルに関連付けられて記録されている画像の撮影位置および撮影方位に基づいて、前記画像の中に前記地点の被写体が写り込んでいるか否かを判定する判定手段と、
複数の前記画像ファイルの中から前記地点の被写体が写り込んでいる画像ファイルを検索する検索手段とを備えることを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示プログラムおよび画像表示装置に関する。
【背景技術】
【０００２】
現在位置を検索用位置データに、カメラが向いている方位を検索用方位データに設定し、現在位置を中心としたカメラが向いている方位の所定角度範囲を検索対象とし、メモリカードに記録されている複数の画像データの中から、属性情報として付加された撮影位置が検索対象の範囲に含まれる画像データを表示候補として検索するようにした画像表示装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８４１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の画像表示装置は、あくまでも特定範囲の撮影位置で撮影された画像データを検索するものであって、地図上の任意の地点または領域が写っている画像データを検索するものではないため、例えば、多くの人が撮影した画像データの中からある建物が写っている画像データを検索し、これらの画像データを用いてパノラマ画像などを生成するようなことはできない。
【課題を解決するための手段】
【０００５】
(１)  請求項１の発明は、使用者が設定した地図上の地点を入力する入力処理と、画像ファイルに関連付けられて記録されている画像の撮影位置および撮影方位に基づいて、画像の中に前記地点の被写体が写り込んでいるか否かを判定する判定処理と、複数の画像ファイルの中から前記地点の被写体が写り込んでいる画像ファイルを検索する検索処理とをコンピューターに実行させることを特徴とする画像表示プログラムである。
(２)  請求項２の発明は、請求項１の画像表示プログラムにおいて、判定処理は、画像ファイルに関連付けられて記録されている画像の撮影位置、撮影方位および撮影画角に基づいて、画像の中に地点の被写体が写り込んでいるか否かを判定する。
(３)  請求項３の発明は、請求項２に記載の画像表示プログラムにおいて、判定処理は、画像ファイルに関連付けられて記録されている画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、画像の中に地点の被写体が写り込んでいるか否かを判定する。
(４)  請求項４の発明は、請求項１〜３のいずれか一項に記載の画像表示プログラムにおいて、地点は、使用者が設定した複数の地点を含む領域である。
(５)  請求項５の発明は、請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、検索処理は、複数の画像ファイルの中から、画像の中に地点の被写体が写り込んでおり、かつ画像ファイルに含まれる撮影日または撮影時刻が使用者により指定された撮影日または撮影時刻の画像ファイルを検索する。
(６)  請求項６の発明は、請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、検索処理は、複数の画像ファイルの中から、画像の中に地点の被写体が写り込んでおり、かつ撮影日または撮影時刻が所定の範囲内の画像ファイルを検索する。
(７)  請求項７の発明は、請求項１〜６のいずれか一項に記載の画像表示プログラムにおいて、検索された複数の画像データを合成して地点における被写体のパノラマ画像を生成する合成処理をさらにコンピューターに実行させる。
(８)  請求項８の発明は、請求項７に記載の画像表示プログラムにおいて、画像合成処理は、複数の画像データの合成の際に、少なくとも一つの合成に使用する画像の画像処理パラメータを設定する。
(９)  請求項９の発明は、請求項１〜４のいずれか一項に記載の画像表示プログラムにおいて、複数の画像ファイルの中から少なくとも一つの画像ファイルを選択する選択処理をさらに実行させ、検索処理は、選択処理により選択された画像ファイルと所定の条件が合う画像ファイルを検索し、検索処理により検索された画像ファイルをユーザに認識可能に出力する出力処理をさらにコンピューターに実行させる。
(１０)  請求項１０の発明は、複数の画像データを入力するインターフェースと、画像および地図を表示する表示装置と、表示装置に表示された地図上で地点を設定する操作装置と、請求項１〜９のいずれか一項に記載の画像表示プログラムを実行するマイクロコンピューターとを備えることを特徴とする画像表示装置である。
(１１)  請求項１１の発明は、使用者が設定した地図上の地点を入力する入力手段と、画像ファイルに関連付けられて記録されている画像の撮影位置および撮影方位に基づいて、画像の中に地点の被写体が写り込んでいるか否かを判定する判定手段と、複数の画像ファイルの中から地点の被写体が写り込んでいる画像ファイルを検索する検索手段とを備えることを特徴とする画像表示装置である。
【発明の効果】
【０００６】
本発明によれば、多くの画像の中から地図上の任意の地点の被写体が写っている画像を検索することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像表示装置の構成を示す図
【図２】一実施の形態の画像表示制御プログラムを示すフローチャート
【図３】図２に続く、一実施の形態の画像表示制御プログラムを示すフローチャート
【図４】画像表示制御のホームページを示す図
【図５】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図６】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図７】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図８】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図９】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図１０】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図１１】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図１２】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図１３】パノラマ画像生成用の地図表示／画像合成ウインドウを示す図
【図１４】撮影位置Ａから撮影方位ｐを撮影画角αで撮影した場合の撮影範囲と被写体Ｂおよび被写体Ｃとの位置関係を示す図
【発明を実施するための形態】
【０００８】
ローカル・コンピューターにおいて、ネットワーク上のサーバーに記憶されている画像データの中から、あるいはローカル・コンピューターに内蔵または外付の記憶装置に記憶されている画像データの中から、地図上の任意の地点または領域が写っている画像データを検索して取り込み、それらの画像データを用いて任意の地点または領域のパノラマ画像を生成するようにした画像表示装置および画像表示プログラムの一実施の形態を説明する。なお、インターネットを介したウエブアプリケーションとして、ウエブサーバー上で動作する画像表示プログラムであってもよい。
【０００９】
図１は一実施の形態の画像表示装置の構成を示す。画像表示装置１は記憶装置２、操作装置３、インターフェース４、コンピューター５、表示装置６、通信装置７などを備えている。記憶装置２はハードディスクメモリなどから構成され、インターフェース４を介してカメラから入手した画像データや、通信装置７を介してインターネット上のサーバーから入手した画像データなどを記憶するとともに、地図データを記憶する。
【００１０】
なお、一実施の形態において画像データとは、デジタルカメラで撮影された静止画像はもちろんのこと、ビデオカメラで撮影された動画像を構成するフレーム画像なども含まれる。また、一実施の形態の画像ファイルには、撮影位置や撮影方位などを示す撮影位置データ、カメラなどの撮影機種や製造番号を示す撮影機種データ、撮影年月日時刻を示す撮影日時データ、焦点距離や撮影画角などの撮影条件を示す撮影条件データなどが画像データと対応付けて記録されている。
【００１１】
操作装置３は図示しないキーボードやマウスなどの操作部材を備えており、使用者が画像処理装置１に対するあらゆる操作、例えば情報や数値などの入力、表示に関する操作、画像出力に関する操作などを行うためのものである。インターフェース４は各種の記録媒体用スロットおよびコネクターを備え、各種記録媒体から画像ファイルを入力したり、専用ケーブルを介してデジタルカメラやビデオカメラから直接、画像ファイルを入力したり、あるいは記録媒体やプリンターなどの外部機器へ画像ファイルを出力する。
【００１２】
コンピューター５はＣＰＵ５ａやメモリ５ｂを備え、後述する一実施の形態の画像表示制御プログラムを実行し、多くの画像ファイルの中から地図上の任意の地点または領域が写っている画像のファイルを検索し、それらの画像ファイルに記録されているデータにより地図上の任意の地点または領域のパノラマ画像を生成する。表示装置６は、入力した画像、地図上の任意の地点または領域を中心とする地図および地図上の撮影位置と撮影範囲、選択した画像から生成されたパノラマ画像などを表示する。通信装置７はインターネットを介して画像や種々の情報の授受を行う。
【００１３】
図２〜図３は、一実施の形態の画像表示制御プログラムを示すフローチャートである。これらのフローチャートにより一実施の形態の画像表示動作を説明する。画像処理装置１において、使用者が操作装置３により画像表示制御プログラムを起動すると、ＣＰＵ５ａはメモリ５ｂに記憶されている画像表示制御プログラムの実行を開始する。
【００１４】
ステップ１において、図４に示すように、表示装置６の表示画面６ａに画像表示制御の画面を表示するとともに、前回終了時のフォルダの画像をサムネイル表示する。図４に示す表示画面６ａにおいて、各画像１１の下には画像ファイル名が表示される。また、ＧＰＳ情報すなわち撮影位置情報が付加された画像１１には、それらの右下にＧＰＳアイコン１２が表示される。サムネイル画像表示領域の下には、フォルダ選択ボタン１３、処理選択ボタン１４、終了ボタン１５などが表示される。
【００１５】
図４に示すフォルダ画像の表示例では、ＯＳのファイル管理対象のフォルダに収納されている画像を表示する例を示すが、データベースを利用した場合には画像選択は画像表示制御プログラムでデータベース登録された仮想的なファイル管理であっても構わない。また、画像を選択するのではなく、画像表示制御プログラムでデータベース登録されている全画像を対象としてもよい。
【００１６】
使用者が操作装置３のマウスポインタをフォルダ選択ボタン１３に設定してクリックすると、コンピューター５はフォルダ選択プルダウンメニュー(不図示)を表示し、画像を収納したフォルダの一覧表示を行う。使用者はこれらのフォルダの中から処理対象の画像が収納されたフォルダを選択することができる。また、使用者がマウスポインタを処理選択ボタン１４に設定してクリックすると、コンピューター５は処理選択プルダウンメニュー(不図示)を表示し、実行したい処理の一覧表示を行う。なお、使用者がマウスポインタを終了ボタン１５に設定してクリックすると、コンピューター５は画像表示プログラムの実行を終了する。
【００１７】
ステップ２で、フォルダ選択プルダウンメニューから使用者が選択したフォルダを入力する。ここでは、使用者が「旅行」フォルダを選択した場合を例に挙げて説明する。ステップ３では、使用者が選択した「旅行」フォルダに収納されている画像を図４に示すようにサムネイル表示する。
【００１８】
ステップ４において、サムネイル表示されている「旅行」フォルダの画像の中から、使用者がパノラマ画像を生成したいとして選択した地点の画像を入力する。ここでは、使用者が例えば東京芝にある“増上寺”で撮影した画像のパノラマ画像生成を希望した場合を例に挙げて説明する。使用者が増上寺の庭の画像にマウスポインタを当ててクリックすると、コンピューター５は選択画像を入力し、図４に示すように表示画面６ａに表示されている選択画像に枠１７を表示する。
【００１９】
なお、パノラマ画像を生成したいとして選択する画像は複数あってもよいが、選択対象の画像はＧＰＳによる撮影位置と方位センサによる撮影方位や撮影レンズの撮影画角などの情報が記録されていなければならない。撮影方位については、撮影時に記録されるＧＰＳユニットなどに内蔵される電子コンパスのデータが利用できる。
【００２０】
ステップ５において、処理選択プルダウンメニューから使用者が選択した処理を入力し、「パノラマ画像生成」処理が選択されたか否かを判別する。「パノラマ画像生成」処理が選択されていない場合はステップ６へ進み、処理選択プルダウンメニューから使用者が選択した処理を実行する。ここではそれらの処理内容の説明を省略する。処理選択プルダウンメニューから使用者が「パノラマ画像生成」処理を選択した場合はステップ７へ進み、図４に示す画面を閉じてパノラマ画像を生成するための地図表示／画像合成ウインドウを表示する。
【００２１】
図５は、パノラマ画像生成用の地図表示／画像合成ウインドウ２０の一例を示す。この地図表示／画像合成ウインドウ２０は、サムネイル表示領域２１、地図表示領域２２、選択画像表示領域２３および画像合成結果表示領域２４の４つの領域に分割されている。まず、サムネイル表示領域２１は地図表示／画像合成ウインドウ２０の左端に配置され、ステップ４で入力された選択画像がサムネイル表示される。図４では一枚の画像が選択された例を示したが、選択されたすべての画像がサムネイル表示され、選択画像が多くて表示領域内に収まらない場合にはスクロールバーが表示され、スクロールにより表示画像の入れ替えが可能になる。
【００２２】
次に、地図表示領域２２は地図表示／画像合成ウインドウ２０の略中央に配置され、ステップ４で入力された選択画像のＧＰＳ情報によりそれらの画像の撮影位置を包含する範囲の地図が表示される。地図上には撮影位置を示す小さな円形マーク２２ａと、撮影位置からの被写体写り込み範囲（撮影位置からの撮影範囲）を示す２本の直線２２ｂとが表示される。これら円形マーク２２ａと２本の直線２２ｂで囲まれる範囲が撮影位置からの撮影範囲を示す。なお、同一の撮影位置で異なる撮影方位を撮影した画像がある場合には、同一地点に一つの円形マーク２２ａが表示され、それぞれの撮影範囲を示す直線２２ｂが表示される。この２２ｂの直線は、撮影画像の撮影方位や使用レンズの画角から計算できる。
【００２３】
地図表示領域２２の左上には、地図上の任意の地点を設定するための位置ボタン２２ｃと、地図上の任意の領域を設定するための領域ボタン２２ｄが配置されている。なお、表示地図は、一実施の形態の画像表示プログラムとともに画像表示装置１にインストールされて記憶装置２に記憶されている地図データを用いて表示してもよいし、通信装置７を介して外部の地図データサーバからダウンロードした地図データを用いて表示してもよい。
【００２４】
選択画像表示領域２３は地図表示／画像合成ウインドウ２０の右上に配置され、使用者が選択した画像をパノラマ画像に合成する素材画像として表示する。使用者が、サムネイル表示領域２１に表示されている画像、または地図表示領域２２に表示されている撮影位置を示す円形マーク２２ａのいずれかにマウスポインタを設定しクリックすると、選択した画像または選択した撮影位置で撮影された画像が選択画像表示領域２３に表示される。
【００２５】
選択画像表示領域２３の左下には「おすすめ度」の表示領域２３ａがあり、使用者が選択した画像に対するパノラマ画像合成用の素材画像としてのおすすめ度が表示される。このおすすめ度は次のように決定される。例えば、前に選択された素材画像と撮影時刻（季節を考慮してもよい）が近い選択画像は、被写体にかかる光線具合が似ており、パノラマ画像として合成しても違和感がないため、高いおすすめ度とする。また、前に選択された素材画像と撮影距離と撮影画角が近い選択画像は、遠近感が似ているため、高いおすすめ度とする。さらに、撮影距離と撮影画角が異なっていても、結果的に切り取られて拡大される被写体の構図が似ていれば、高いおすすめ度とする。
【００２６】
選択画像表示領域２３の右下には「画像合成」ボタン２３ｂがあり、選択画像表示領域２３に表示されている選択画像をパノラマ画像合成用の素材画像として採用する場合に操作する操作部材である。
【００２７】
画像合成結果表示領域２４は地図表示／画像合成ウインドウ２０の右下に配置され、パノラマ画像合成用として採用された素材画像を合成した結果が表示される。画像合成結果表示領域２４の下部には、画像合成前の状態に戻すための「戻す」ボタン２３ａ、画像合成結果を消去するための「全クリア」ボタン２４ｂ、および、画像合成結果のパノラマ画像ファイルをメモリ５ｂに記憶するための「保存」ボタン２４ｃが配置されている。
【００２８】
なお、地図表示／画像合成ウインドウ２０の右上には、地図表示／画像合成ウインドウ２０を閉じて図４に示す画面表示に戻るための「閉じる」ボタン２０ａが配置されている。
【００２９】
以下、図６〜図１３に示すパノラマ画像生成用の地図表示／画像合成ウインドウ２０を参照しながら、パノラマ画像生成動作を説明する。なお、図６〜図１３に示すパノラマ画像生成用の地図表示／画像合成ウインドウ２０において、画面上の各種操作ボタン等は図５に示すそれらと同様であり、説明を省略する。
【００３０】
図６において、使用者は、地図表示領域２２の位置ボタン２２ｃにマウスポインタを設定して右クリックした後、表示されている地図上でパノラマ画像を生成したい被写体（ここでは芝の増上寺）が存在する地点にマウスポインタを設定し右クリックする。図２のステップ８において、使用者がパノラマ画像を生成する被写体を選択し、その被写体が存在する地点を設定したか否かを確認し、被写体の地点を設定したらステップ９へ進む。ステップ９では、使用者が設定した被写体の位置を入力してその緯度および経度をメモリ５ｂに記憶し、図６に示すように地図表示領域２２の地図上の使用者が設定した地点、ここでは増上寺がある地点にピン２２ｅを表示する。
【００３１】
また、ＣＰＵ５ａは、サムネイル表示領域２１の使用者が選択した画像の中から、ピン２２ｅの地点の被写体、ここでは増上寺が写っている画像のみを抽出してサムネイル表示領域２１にサムネイル表示するとともに、地図表示領域２２の使用者が選択した画像に対応する円形マーク２２ａおよび直線２２ｂの中から、ピン２２ｅの地点の被写体、ここでは増上寺が撮影範囲に入っている円形マーク２２ａおよび直線２２ｂのみを抽出して地図表示領域２２に表示する。
【００３２】
なお、この一実施の形態では増上寺が写っているサムネイル画像と撮影範囲内に増上寺を包含する円形マーク２２ａおよび直線２２ｂのみを表示する例を示すが、すべてのサムネイル画像と撮影範囲を示す円形マーク２２ａおよび直線２２ｂを表示し、増上寺が写っているサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂと、それら以外のサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂとを異なる色で表示したり、あるいは前者を点滅表示するなど、両者を容易に識別できる形態で表示するようにしてもよい。
【００３３】
ここで、使用者が設定した被写体位置の緯度および経度から、その被写体位置を撮影範囲に含む撮影位置と撮影方位の画像、すなわち使用者が設定した被写体が写り込んでいる画像を検索する手法を説明する。図１４は、撮影位置Ａから撮影方位ｐを撮影画角αで撮影した場合の撮影範囲と被写体Ｂおよび被写体Ｃとの位置関係を示す図である。図１４において、紙面の上方を地図上の真北の方位とし、撮影位置Ａの位置（緯度，経度）を（ｘａ，ｙａ）、被写体Ｂの位置（緯度，経度）を（ｘｂ、ｙｂ）、被写体Ｃの位置（緯度，経度）を（ｘｃ，ｙｃ）とする。また、撮影方位ｐは真北から時計回りβ度の方位とし、２本の直線ｍ、ｎは撮影方位ｐを中心として撮影画角α度の撮影範囲を示す。
【００３４】
撮影画角αから形成される写り込み範囲すなわち撮影範囲は、二次元に投影した場合、撮影位置Ａを基点とした２本の直線ｍとｎの扇状の範囲で示される。ここで、撮影位置Ａから被写体Ｂと被写体Ｃにそれぞれ直線（一点鎖線で示す）ｂと直線（一点鎖線で示す）ｃを引いた場合に、それらの直線の傾きが直線ｎの傾き以上でかつ直線ｍの傾き以下であれば、被写体Ｂと被写体Ｃは撮影範囲に含まれ、撮影位置Ａから撮影方位ｐを撮影画角αで撮影した画像に被写体Ｂと被写体Ｃが写り込んでいる。
【００３５】
図１４から下記の関係が成立する。
直線ｍの傾き：ｍａ＝tan(９０°−β＋α／２)，
直線ｎの傾き：ｎａ＝tan(９０°−β−α／２)  ・・・(１)
今、仮想の被写体Ｘの位置(緯度，経度)を(ｘｘ，ｙｙ)としたとき、撮影位置Ａと被写体Ｘの位置は近距離のために平面を仮定でき、撮影位置Ａと被写体Ｘとを結ぶ直線ｘの傾きは次式で表すことができる。
ｘａ＝(ｙｘ−ｙａ)／(ｘｘ−ｘａ)  ・・・(２)
したがって、次式が成立すれば、被写体Ｘは画像に写り込んでいると判定できる。
ｎａ＜ｘａ＜ｍａ  ・・・(３)
【００３６】
以下に具体例を示す。撮影画角α＝３０°、撮影方位β＝３５°、撮影位置Ａ：(ｘａ，ｙａ)＝(東経１３９度４１分２３秒，北緯２５度４１分１６秒)、被写体位置Ｂ：(ｘｂ，ｙｂ)＝(東経１３９度４１分３０秒，北緯３５度４１分２３秒)、被写体位置Ｃ：(ｘｃ，ｙｃ)＝(東経１３９度４１分３２秒，北緯３５度４１分１８秒)の場合には、撮影画角αを示す直線ｍと直線ｎの傾きは、
直線ｍの傾き：ｍａ＝tan(９０°−３５°＋３０°／２)＝tan７０°＝２．７４７，
直線ｎの傾き：ｎａ＝tan(９０°−３５°−３０°／２)＝tan４０°＝０．８３９  ・・・(４)
となる。
【００３７】
一方、被写体Ｂと被写体Ｃの撮影位置Ａとの傾き、つまり直線ｂと直線ｃの傾きは、それぞれ、
ｂａ＝(ｙｂ−ｙａ)／(ｘｂ−ｘａ)＝(２３−１６)／(３０−２３)＝７／７＝１．０，
ｃａ＝(ｙｃ−ｙａ)／(ｘｃ−ｘａ)＝(１８−１６)／(３２−２３)＝２／９＝０．２２２  ・・・(５)
となる。したがって、ｎａ＜ｂａ＜ｍａの関係が成立し，被写体Ｂは撮影画像に写り込む。一方、ｃａ＜ｎａとなるため、被写体Ｃは撮影画像に写り込まない。
【００３８】
以上の判定方法では、撮影位置から被写体までの距離すなわち撮影距離を考慮していない。撮影距離を考慮するのであれば、被写体の横幅にもよるが、被写体が撮影画像に示す割合の目安になる。
【００３９】
上記の判定方法により被写体が撮影画像に写り込んでいると判定された場合でも、撮影位置から被写体までの距離が遠いと、画像内の所望の被写体が小さくぼんやりとして識別しにくいため、そのような被写体のサムネイル画像とその撮影位置および撮影範囲の表示を行わないようにすることも可能である。この場合、使用者が表示限界の撮影距離を任意の値に設定可能としてもよい。
【００４０】
図７に示すパノラマ画像生成用の地図表示／画像合成ウインドウ２０において、使用者は、サムネイル表示領域２１の画像の中からパノラマ画像を生成するのに最適な素材画像を選択する。あるいは、地図表示領域２２に表示されている被写体が撮影範囲に入っている撮影位置、撮影方位および撮影画角の中から、パノラマ画像を生成するのに最適な撮影位置、撮影方位および撮影画角を選択する。具体的には、地図表示領域２２の位置ボタン２２ｃにマウスポインタを設定してクリックした後、サムネイル表示領域２１の画像の内の所望の画像にマウスポインタを設定してクリックするか、または、地図表示領域２２に表示されている地図上で所望の撮影位置、撮影方位および撮影画角の円形マーク２２ａにマウスポインタを設定してクリックする。
【００４１】
図２のステップ１０において使用者がサムネイル画像または撮影位置（円形マーク２２ａ）を選択したか否かを確認し、選択したらステップ１１へ進む。ステップ１１では、サムネイル表示領域２１の使用者が選択したサムネイル画像に枠２１ａを表示するとともに、使用者が選択した撮影位置の円形マーク２２ａを他の撮影位置の円形マーク２２ａと異なる色（図７に示す例では黒色）で表示する。そして、使用者が選択したサムネイル画像もしくは撮影位置に対応する画像のファイルを記憶装置２から読み出し、選択画像表示領域２３にパノラマ画像生成用の素材画像として表示する。
【００４２】
図７に、使用者が選択したパノラマ画像生成用の素材画像２３ｃを選択画像表示領域２３に表示した例を示す。使用者は、選択画像表示領域２３に表示された素材画像を見て、パノラマ画像を生成したい被写体が実際にどのように写っているのかを確認することができ、この画像をパノラマ画像生成用の素材画像として採用するか否かを判断する。採用を決定したら、使用者は、選択画像表示領域２３の画像合成ボタン２３ｂを押下操作する。なお、不採用とする場合には、ふたたびサムネイル画像の選択操作か撮影位置の選択操作を行い、素材画像を選択し直す。
【００４３】
図２のステップ１２において、画像合成ボタン２３ｂが押下操作されて選択画像表示領域２３に表示されている素材画像がパノラマ画像生成用に採用されたか否かを判別し、採用されたらステップ１３へ進み、画像合成ボタン２３ｂの押下操作がなく不採用の場合はステップ１０へ戻って上述した画像選択処理を繰り返す。ステップ１３では、図８に示すように、選択画像表示領域２３に表示されている画像をパノラマ画像生成用の素材画像としてメモリ５ｂに一時記憶するとともに、画像合成結果表示領域２４にコピーした画像２４ｄを表示する。この最初のパノラマ画像生成用の素材画像２４ｄは、以後の素材画像に対する基準画像となる。
【００４４】
次に、使用者は２枚目以降のパノラマ画像生成用の素材画像の選択を行う。ここでは、図９に示すように、最初の素材画像（画像合成結果表示領域２４の画像２４ｄ）に写っている被写体（増上寺）の一部が欠落しており、その欠落部を補うための画像（撮影方位はほぼ同一）の選択を行うものとする。
【００４５】
サムネイル表示領域２１の画像の中から、被写体（増上寺）の全貌が写ったパノラマ画像を生成するのに最適な次の素材画像を選択する。あるいは、地図表示領域２２に表示されている被写体が撮影範囲に入っている撮影位置、撮影方位および撮影画角の中から、被写体の全貌が写ったパノラマ画像を生成するのに最適な撮影位置、撮影方位および撮影画角を選択する。具体的には、地図表示領域２２の位置ボタン２２ｃにマウスポインタを設定してクリックした後、サムネイル表示領域２１の画像の内の所望の画像にマウスポインタを設定してクリックするか、または、地図表示領域２２に表示されている地図上で所望の撮影位置、撮影方位および撮影画角の円形マーク２２ａにマウスポインタを設定してクリックする。
【００４６】
図３のステップ２１において使用者がサムネイル画像または撮影位置（円形マーク２２ａ）を選択したか否かを確認し、選択したらステップ２２へ進む。ステップ２２では、サムネイル表示領域２１の使用者が選択したサムネイル画像に枠２１ｂを表示するとともに、使用者が選択した撮影位置の円形マーク２２ａを他の撮影位置の円形マーク２２ａと異なる色（図９に示す例では黒色）で表示する。そして、使用者が選択したサムネイル画像もしくは撮影位置に対応する画像のファイルを記憶装置２から読み出し、選択画像表示領域２３にパノラマ画像生成用の素材画像として表示する。
【００４７】
図９に、使用者が選択したパノラマ画像生成用の素材画像２３ｄを選択画像表示領域２３に表示した例を示す。選択画像表示領域２３のおすすめ度表示領域２３ａには、上述したおすすめ度の決定手法にしたがって、すでに素材画像として採用が決定している上記基準画像に対するおすすめ度が星印で表示される。星印の数が多いほどおすすめ度が高い。使用者は、おすすめ度を参考にしながら選択画像表示領域２３に表示された素材画像を見て、パノラマ画像を生成したい被写体が実際にどのように写っているのかを確認することができ、この画像をパノラマ画像生成用の素材画像として採用するか否かを判断する。
【００４８】
採用を決定したら、使用者は、選択画像表示領域２３の画像合成ボタン２３ｂを押下操作する。なお、不採用とする場合には、ふたたびサムネイル画像の選択操作か撮影位置の選択操作を行い、素材画像を選択し直す。図３のステップ２３において、画像合成ボタン２３ｂが押下操作されて選択画像表示領域２３に表示されている素材画像がパノラマ画像生成用に採用されたか否かを判別し、採用されたらステップ２４へ進み、画像合成ボタン２３ｂの押下操作がなく不採用の場合はステップ２１へ戻って上述した画像選択処理を繰り返す。
【００４９】
ステップ２４では、図１０に示すように、選択画像表示領域２３に表示されている画像をパノラマ画像生成用の素材画像としてメモリ５ｂに一時記憶する。また、図１０に示すように、地図表示領域２２において、パノラマ画像生成用として採用された複数の素材画像の撮影位置を示す円形マーク２２ａを枠２２ｆで囲い、グループとして表示する。
【００５０】
ステップ２５において、すでに採用が決定されている素材画像と今回採用が決定された素材画像との合成処理を行う。複数の素材画像の合成手法は周知の手法による。例えば、基準画像に合わせて新しい素材画像を自動的に拡大または縮小、あるいはトリミングなどを行うとともに、露出調整や色合い調整などを行って、複数の素材画像を合成した結果のパノラマ画像が同一の撮影条件で撮影された画像に近づけるような画像処理を行う。そして、図１０に示すように、画像合成結果表示領域２４に、前回までの素材画像２４ｄと今回の素材画像２４ｅとの画像合成結果のパノラマ画像を表示する。
【００５１】
使用者は、画像合成結果表示領域２４に表示された合成結果のパノラマ画像に満足できない場合には、戻すボタン２４ａを押下操作して最後に合成された素材画像の採用をキャンセルすることができる。この場合は、上述したように素材画像を選択し直すことになる。また、今まで合成したすべての素材画像の採用と合成画像をキャンセルしたい場合には、全クリアボタン２４ｂを押下操作する。この場合には図４に示す画面表示状態に戻る。
【００５２】
図３のステップ２６で、戻すボタン２４ａが押下操作されて最後の素材画像がキャンセルされたか否かを確認し、戻すボタン２４ａが操作された場合は最後に素材画像とした画像の採用を取り消し、メモリ５ｂから当該画像のデータを消去してステップ２１へ戻り、上述した素材画像の選択処理を繰り返す。一方、戻すボタン２４ａの操作がない場合にはステップ２７へ進み、全クリアボタン２４ｂが押下操作されて合成画像がキャンセルされたか否かを確認し、全クリアボタン２４ｂが操作された場合はすべての素材画像の採用を取り消し、メモリ５ｂからすべての素材画像のデータを消去してステップ１へ戻り、上述した画面を表示する。
【００５３】
素材画像の選択と合成を繰り返した後、使用者は、画像合成結果表示領域２４に表示された合成結果のパノラマ画像を見て、パノラマ画像の生成を継続するか、パノラマ画像の生成を終了して保存するかを判断する。素材画像のキャンセルがなく、また合成画像のキャンセルもない場合はステップ２８へ進み、画像合成結果表示領域２４の保存ボタン２４ｃが押下操作されたか否かを確認する。保存ボタン２４ｃの操作がない場合はステップ２１へ戻り、上述した素材画像の選択と合成の処理を繰り返す。
【００５４】
一方、保存ボタン２４ｃが押下操作された場合はステップ２９へ進み、表示装置６にファイル出力ダイアログ(不図示)を表示して、生成されたパノラマ画像のファイル名の入力を促す。操作装置３により使用者がファイル名を設定すると、ステップ３０でファイル名を入力し、続くステップ３１で新しいパノラマ画像のファイルにファイル名を付けて記憶装置２に記憶する。
【００５５】
《一実施の形態の変形例１》
上述した一実施の形態では、パノラマ画像生成用の素材画像の選択から、複数の素材画像を合成してパノラマ画像を生成し保存するまでの動作を半自動とした例を示したが、これらの一連の動作を全て自動的に画像表示装置１により行う自動モードを設けてもよい。
【００５６】
《一実施の形態の変形例２》
上述した一実施の形態では、使用者が地図上で設定した任意の地点に存在する被写体のパノラマ画像を生成する例を示したが、使用者が地図上で設定した任意の領域に存在する被写体のパノラマ画像を生成することも可能である。この場合は図２に示す画像表示制御プログラムのステップ８とステップ９の動作のみが異なるので、これらのステップの処理の変形例をステップ８’および９’として説明する。
【００５７】
図１１において、使用者は、地図表示領域２２の領域ボタン２２ｄにマウスポインタを設定してクリックした後、表示されている地図上でパノラマ画像を生成したい複数の被写体（ここでは芝の増上寺と東京タワー）が存在する領域をマウスポインタで設定してクリックする。ＣＰＵ５ａは、図２のステップ８’において、使用者がパノラマ画像を生成する被写体が存在する領域を選択し、その領域を設定したか否かを確認し、被写体の領域を設定したらステップ９’へ進む。ステップ９’では使用者が設定した被写体の領域を入力してその緯度および経度による領域情報をメモリ５ｂに記憶し、図１１に示すように使用者が設定した被写体の領域に枠２２ｇを表示する。
【００５８】
また、ＣＰＵ５ａは、使用者が設定した被写体の領域内の被写体、ここでは増上寺や東京タワーなどが写っているサムネイル表示領域２１のサムネイル画像を表示するとともに、地図表示領域２２の増上寺や東京タワーなどが撮影範囲に入っている撮影位置の円形マーク２２ａおよび直線２２ｂを表示する。ここでは、増上寺や東京タワーなどが写っているサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂのみを表示する例を示すが、すべてのサムネイル画像と撮影範囲を示す円形マーク２２ａおよび直線２２ｂを表示して、増上寺や東京タワーなどが写っているサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂと、それら以外のサムネイル画像とその撮影範囲を示す円形マーク２２ａおよび直線２２ｂとを異なる色で表示したり、あるいは前者を点滅表示するなど、両者を容易に識別できる形態で表示するようにしてもよい。
【００５９】
なお、使用者が設定した被写体の領域の緯度および経度の情報から、その被写体の領域を撮影範囲に含む撮影位置と撮影方位の画像、すなわち使用者が設定した被写体の領域が写り込んでいる画像を検索する手法は、上述した使用者が設定した被写体の地点が写り込んでいる画像の検索手法を領域内の多くの地点で展開すればよい。
【００６０】
図１２は、使用者が被写体の領域を設定してパノラマ画像を生成した場合の地図表示／画像合成ウインドウ２０を示す。画像合成結果表示領域２４には、使用者が設定した東京タワーから増上寺までの被写体領域の合成結果のパノラマ画像が表示されている。
【００６１】
《一実施の形態の変形例３》
使用者が地図上で設定した地点にある被写体を取り囲むように、あたかも３６０度一周して撮影したかのような３６０度展望のパノラマ画像を生成することもできる。この場合には、例えば図１３に示すように、使用者が設定した地図上の地点にある被写体、こここでは東京タワーを取り囲む素材画像を選択し、それらの素材画像を合成してあたかも東京タワーを一周して撮影したかのような３６０度展望のパノラマ画像を生成する。このようなパノラマ画像データを特別なフォーマットに変換して任意の視点での被写体閲覧を可能にすることもできる。
【００６２】
なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。
【００６３】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、使用者が設定した地図上の地点を入力し、画像ファイルに含まれる画像の撮影位置および撮影方位に基づいて画像の中に設定地点の被写体が写り込んでいるか否かを判定する。そして、複数の画像ファイルの中から設定地点の被写体が写り込んでいる画像のファイルを検索するようにしたので、多くの画像の中から地図上の任意の地点の被写体が写っている画像を検索することができる。
【００６４】
また、上述した実施の形態とその変形例によれば、画像ファイルに含まれる画像の撮影位置、撮影方位および撮影画角に基づいて、画像の中に設定地点の被写体が写り込んでいるか否かを判定するようにしたので、多くの画像の中から設定地点の被写体が写り込んでいる画像を正確に抽出することができる。
【００６５】
上述した実施の形態とその変形例によれば、画像ファイルに含まれる画像の撮影位置、撮影方位、撮影画角および撮影距離に基づいて、画像の中に設定地点の被写体が写り込んでいるか否かを判定するようにしたので、多くの画像の中から設定地点の被写体が鮮明に写り込んでいる画像を正確に抽出することができる。
【００６６】
上述した実施の形態とその変形例によれば、使用者が設定した地図上の複数の地点を含む領域を入力し、画像ファイルに含まれる画像の撮影位置および撮影方位に基づいて画像の中に設定領域の被写体が写り込んでいるか否かを判定する。そして、複数の画像ファイルの中から設定領域の被写体が写り込んでいる画像のファイルを検索するようにしたので、多くの画像の中から地図上の任意の地点を含む領域の被写体が写っている画像を検索することができる。
【００６７】
上述した実施の形態とその変形例によれば、複数の画像ファイルの中から、画像の中に地点の被写体が写り込んでおり、かつ画像ファイルに含まれる撮影日または撮影時刻が使用者により指定された撮影日または撮影時刻の画像ファイルを検索するようにしたので、天候などの撮影環境が同じ画像を検索することができ、これらの画像によりパノラマ画像を生成した場合でも違和感のない画像を生成することができる。
【００６８】
上述した実施の形態とその変形例によれば、検索された複数の画像を合成して地点における被写体のパノラマ画像を生成するようにしたので、多くの画像により地図上の任意の地点の被写体のパノラマ画像を容易に生成することができる。
【符号の説明】
【００６９】
１；画像表示装置、３；操作装置、４；インターフェース、５；コンピューター、６；表示装置
【図１】
2013182331.tif 000003
【図２】
2013182331.tif 000004
【図３】
2013182331.tif 000005
【図４】
2013182331.tif 000006
【図５】
2013182331.tif 000007
【図６】
2013182331.tif 000008
【図７】
2013182331.tif 000009
【図８】
2013182331.tif 000010
【図９】
2013182331.tif 000011
【図１０】
2013182331.tif 000012
【図１１】
2013182331.tif 000013
【図１２】
2013182331.tif 000014
【図１３】
2013182331.tif 000015
【図１４】
2013182331.tif 000016