(57)【要約】【課題】  撮影時に得られた画像を用いて、撮影時にユーザが認識したイメージのパノラマ表示を実行する。【解決手段】  表示部と、撮影範囲をずらしながら複数回の連続撮影を行うことで取得された複数の画像を、連続撮影の開始時に得られる画像を基準として撮影範囲をずらした方向と同一方向に各画像の表示位置をずらしながら、且つ複数の画像のうち、時間的に隣り合う画像の少なくとも一部がそれぞれ重複するように、連続撮影時に得られた順序にしたがって表示部内に順次表示する第１の表示制御部と、表示部に表示される画像のうち、表示部に表示される時間が最も長い画像から順に表示部における表示を終了させる第２の表示制御部と、を備えたことを特徴とする。【選択図】    図５
2013172254.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
撮影範囲をずらしながら複数回の連続撮影を行うことで取得された複数の画像を、前記連続撮影の開始時に得られる画像を基準として前記撮影範囲をずらした方向と同一方向に各画像の表示位置をずらしながら、且つ前記複数の画像のうち、時間的に隣り合う画像の少なくとも一部がそれぞれ重複するように、前記連続撮影時に得られた順序にしたがって前記表示部内に順次表示する第１の表示制御部と、
前記表示部に表示される画像のうち、前記表示部に表示される時間が最も長い画像から順に前記表示部における表示を終了させる第２の表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記複数の画像のそれぞれの大きさと前記複数の画像における類似度とを用いて、前記複数の画像のうち隣り合う画像の重複する箇所を重畳させながら、前記複数の画像の全てを繋ぎ合わせたときのサイズを推定する推定部と、
前記推定部によって推定される前記サイズに基づいて、前記隣り合う画像を重畳させる領域の大きさを変化させることで、前記複数の画像の全てを繋ぎ合わせたときのサイズを前記表示部のサイズに調整する調整部と、
を備えたことを特徴とする画像表示装置。
【請求項３】
請求項１に記載の画像表示装置において、
前記複数の画像のそれぞれの大きさと前記複数の画像における類似度とを用いて、前記複数の画像のうち隣り合う画像の重複する箇所を重畳させながら、前記複数の画像の全てを繋ぎ合わせたときのサイズを推定する推定部と、
前記推定部によって推定される前記サイズに基づいて、前記複数の画像の大きさを変更させることで、前記複数の画像の全てを繋ぎ合わせたときのサイズを前記表示部のサイズに調整する調整部と、
を備えたことを特徴とする画像表示装置。
【請求項４】
請求項２又は請求項３に記載の画像表示装置において、
前記類似度は、前記連続撮影時に取得される前記複数の画像のそれぞれに付帯情報として付帯されることを特徴とする画像表示装置。
【請求項５】
請求項２又は請求項３に記載の画像表示装置において、
前記複数の画像のそれぞれの特徴量を抽出する特徴量抽出部を備え、
前記推定部は、隣り合う画像の特徴量に基づいて前記類似度を求めることを特徴とする画像表示装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像表示装置において、
前記第１の表示制御部は、前記隣り合う画像のうち、時間的に先に取得される画像、前記時間的に後に取得される画像の順で、前記表示部に表示させ、
前記第２の表示制御部は、前記隣り合う画像のうち、前記時間的に先に取得される画像が前記表示部に表示され、且つ前記第１の表示制御部により前記時間的に後に取得された画像を前記表示部に表示させるときに、前記時間的に先に取得された画像の表示を終了させることを特徴とする画像表示装置。
【請求項７】
請求項１から請求項５のいずれか１項に記載の画像表示装置において、
前記第２の表示制御部は、前記第１の表示制御部によって前記表示部に順次表示される画像の数が所定数に到達した後、前記第１の表示制御部によって新たに前記表示部に画像を表示させるときに、前記表示部に表示された画像のうち、前記表示部に表示された時間が最も長い画像の表示を終了させることを特徴とする画像表示装置。
【請求項８】
請求項１から請求項５のいずれか1項に記載の画像表示装置において、
前記第２の表示制御部は、前記第１の表示制御部により前記複数の画像の全てが前記表示部に表示された後、前記表示部に表示された前記複数の画像のうち、時間が最も長い画像から順に前記表示部における表示を順次終了させていくことを特徴とする画像表示装置。
【請求項９】
撮影範囲をずらしながら複数回の連続撮影を行うことで取得された複数の画像を、前記連続撮影の開始時に得られる画像を基準として前記撮影範囲をずらした方向と同一方向に各画像の表示位置をずらしながら、且つ前記複数の画像のうち、時間的に隣り合う画像の少なくとも一部がそれぞれ重複するように、前記連続撮影時に得られた順序にしたがって順次表示する第１の表示工程と、
前記第１の表示工程にて表示される画像のうち、表示される時間が最も長い画像から順に表示を終了させる第２の表示工程と、
をコンピュータにて実行させることが可能な、コンピュータ読み取り可能な画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を順次表示する画像表示装置及び画像表示プログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を移動させながら連続撮影を行うことで得られた画像（以下、連続画像）のそれぞれに対して、レンズ歪みなどを考慮した画像補正を行い、連続画像を繋ぎ合わせることでパノラマ画像を生成することが提案されている。また、この他に、移動される撮像装置の角速度値に基づいた所定範囲の像を画像として複数取得し、得られた複数の画像を連続撮影の開始位置と各撮影位置との相対角度に基づいて合成することで、パノラマ画像を生成することも提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、生成されたパノラマ画像を表示すると、実際には撮像装置を移動させて撮影しているにも関わらず、被写体が動いているような印象を与えてしまう。また、上述した画像補正は、撮影開始位置と、他の撮影位置との相対角度などを加味した画像補正となることから、これら画像補正が施された複数の画像を繋ぎ合わせたパノラマ画像を表示すると、撮影時にユーザが認識したイメージとは異なるイメージの画像が表示されてしまう。
【０００５】
本発明は、撮影時に得られた画像を用いて、撮影時にユーザが認識したイメージのパノラマ表示を実行することができるようにした画像表示装置及び画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像表示装置は、表示部と、撮影範囲をずらしながら複数回の連続撮影を行うことで取得された複数の画像を、前記連続撮影の開始時に得られる画像を基準として前記撮影範囲をずらした方向と同一方向に各画像の表示位置をずらしながら、且つ前記複数の画像のうち、時間的に隣り合う画像の少なくとも一部がそれぞれ重複するように、前記連続撮影時に得られた順序にしたがって前記表示部内に順次表示する第１の表示制御部と、前記表示部に表示される画像のうち、前記表示部に表示される時間が最も長い画像から順に前記表示部における表示を終了させる第２の表示制御部と、を備えたことを特徴とする。
【０００７】
また、前記複数の画像のそれぞれの大きさと前記複数の画像における類似度とを用いて、前記複数の画像のうち隣り合う画像の重複する箇所を重畳させながら、前記複数の画像の全てを繋ぎ合わせたときのサイズを推定する推定部と、前記推定部によって推定される前記サイズに基づいて、前記隣り合う画像を重畳させる領域の大きさを変化させることで、前記複数の画像の全てを繋ぎ合わせたときのサイズを前記表示部のサイズに調整する調整部と、を備えたものである。
【０００８】
また、前記複数の画像のそれぞれの大きさと前記複数の画像における類似度とを用いて、前記複数の画像のうち隣り合う画像の重複する箇所を重畳させながら、前記複数の画像の全てを繋ぎ合わせたときのサイズを推定する推定部と、前記推定部によって推定される前記サイズに基づいて、前記複数の画像の大きさを変更させることで、前記複数の画像の全てを繋ぎ合わせたときのサイズを前記表示部のサイズに調整する調整部と、を備えたものである。
【０００９】
これら場合、前記類似度は、前記連続撮影時に取得される前記複数の画像のそれぞれに付帯情報として付帯されることが好ましい。また、前記複数の画像のそれぞれの特徴量を抽出する特徴量抽出部を備え、前記推定部は、隣り合う画像の特徴量に基づいて前記類似度を求める場合であってもよい。
【００１０】
また、前記第１の表示制御部は、前記隣り合う画像のうち、時間的に先に取得される画像、前記時間的に後に取得される画像の順で、前記表示部に表示させ、前記第２の表示制御部は、前記隣り合う画像のうち、前記時間的に先に取得される画像が前記表示部に表示され、且つ前記第１の表示制御部により前記時間的に後に取得された画像を前記表示部に表示させるときに、前記時間的に先に取得された画像の表示を終了させることが好ましい。
【００１１】
また、前記第２の表示制御部は、前記第１の表示制御部によって前記表示部に順次表示される画像の数が所定数に到達した後、前記第１の表示制御部によって新たに前記表示部に画像を表示させるときに、前記表示部に表示された画像のうち、前記表示部に表示された時間が最も長い画像の表示を終了させることが好ましい。
【００１２】
また、前記第２の表示制御部は、前記第１の表示制御部により前記複数の画像の全てが前記表示部に表示された後、前記表示部に表示された前記複数の画像のうち、時間が最も長い画像から順に前記表示部における表示を順次終了させていくことが好ましい。
【００１３】
また、本発明の画像表示プログラムは、撮影範囲をずらしながら複数回の連続撮影を行うことで取得された複数の画像を、前記連続撮影の開始時に得られる画像を基準として前記撮影範囲をずらした方向と同一方向に各画像の表示位置をずらしながら、且つ前記複数の画像のうち、時間的に隣り合う画像の少なくとも一部がそれぞれ重複するように、前記連続撮影時に得られた順序にしたがって順次表示する第１の表示工程と、前記第１の表示工程にて表示される画像のうち、表示される時間が最も長い画像から順に表示を終了させる第２の表示工程と、をコンピュータにて実行させることが可能な、コンピュータ読み取り可能なものである。
【発明の効果】
【００１４】
本発明によれば、撮影時にユーザが認識したイメージのパノラマ表示を撮影時に得られた画像を用いて実行することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を用いた画像表示装置の構成を示す機能ブロック図である。
【図２】（ａ）は、パノラマ表示において個別画像を繋ぎ合わせた状態を示す図、（ｂ）は、各個別画像のサイズを調整してパノラマ表示の幅を表示器の幅に合わせた場合を示す図である。
【図３】（ａ）は、パノラマ表示において個別画像を繋ぎ合わせた状態を示す図、（ｂ）は、隣り合う個別画像のオーバーラップ量を調整してパノラマ表示の幅を表示器の幅に合わせた場合を示す図である。
【図４】パノラマ表示にかかる処理の流れを示すフローチャートである。
【図５】表示パターン１によるパノラマ表示の例を示す図である。
【図６】表示パターン２によるパノラマ表示の例を示す図である。
【図７】表示パターン３によるパノラマ表示において、個別画像を順次表示させていく状態を示す図である。
【図８】表示パターン３によるパノラマ表示において、個別画像の表示を順次終了させていく状態を示す図である。
【図９】表示される個別画像を移動させた後、次の個別画像を表示する場合を示す図である。
【発明を実施するための形態】
【００１６】
図１は、本発明の画像表示装置１０の構成を示す機能ブロック図である。図１に示すように、画像表示装置１０は、表示部１５、表示制御回路１６、コントローラ１７、操作部１８、コントローラ１９、メディアスロット２０、接続Ｉ／Ｆ２１、ＣＰＵ２２、メモリ２３から構成される。画像表示装置１０の各部のうち、表示制御回路１６、コントローラ１７，１９、メディアスロット２０、接続Ｉ／Ｆ２１、ＣＰＵ２２、メモリ２３は、バス２４を介して接続される。
【００１７】
表示部１５は、表示器３１及びタッチパネル３２からなるタッチパネル式ディスプレイの形態をとる。表示器３１としては、例えば液晶表示ディスプレイ（ＬＣＤ）や、ＥＬディスプレイなどが挙げられる。表示器３１は、メディアスロット２０に装着される記憶媒体３５から読み出された画像データに基づく画像が表示される他、画像表示装置１０の設定を行う際の設定用画像等が表示される。この表示器３１における表示制御は、表示制御回路１６により実行される。なお、本実施形態では、タッチパネル３２を備えた画像表示装置１０の形態としているが、タッチパネル３１を備えていない表示部１５の構成であってもよい。
【００１８】
タッチパネル３２は、表示器３１の前面側に配置される。このタッチパネル３２としては、例えば静電容量方式、赤外線方式、超音波方式、低硬膜方式などのいずれかが用いられる。タッチパネル３２による入力操作が実行されると、タッチパネル３２は入力操作に基づいた検出信号をコントローラ１７に出力する。コントローラ１７は、タッチパネル３２から出力される検出信号を座標信号に変換しＣＰＵ２２に出力する。ＣＰＵ２２は、コントローラ１７から出力される座標信号に基づいた処理を実行する。
【００１９】
メディアスロット２０は、例えばフラッシュメモリを内蔵したメモリカードや、光学ディスクや磁気ディスクなどのいずれかの記憶媒体３５が装着される。この記憶媒体３５には、画像の元になる画像データが記憶される。
【００２０】
この画像データとしては、単一のＥｘｉｆ形式の画像データの他に、例えばパノラマ撮影など、連続撮影により得られた複数のＥｘｉｆ形式の画像データを１つのファイルにまとめて記憶する、所謂マルチピクチャーフォーマット（ＭＰフォーマット）と呼ばれる規格にて記憶される画像データがある。
【００２１】
以下、ＭＰフォーマットにて記憶される画像データに記憶されるＥｘｉｆ形式の画像データを個別画像データと称して説明する。ＭＰフォーマットにて記憶される画像データは、パノラマ、立体視、マルチアングルなど画像の種別を示す情報（種別情報）の他、撮影時に取得した画像の総数の情報や、各画像の配置を示す情報（配置情報）、水平オーバーラップ量及び垂直オーバーラップ量を示す情報（オーバーラップ情報）などが付帯情報として付帯される。なお、上述した水平オーバーラップ量や垂直オーバーラップ量は、撮影時の撮像装置の角速度や、得られる画像の類似度などから求められる値であり、隣り合う画像との間で重複する領域が画像に占める割合を示している。
【００２２】
接続Ｉ／Ｆ２１は、例えばＵＳＢポートなどの通信ポートから構成される。この接続Ｉ／Ｆにより、例えばＵＳＢケーブル等により外部機器と電気的に接続される。
【００２３】
ＣＰＵ２２は、メモリ２３に格納されたシーケンスプログラムに基づいて、画像表示装置１０の各部を制御する。例えばコントローラ１７，１９のいずれかから信号が出力されたときには、ＣＰＵ２２は、該信号に基づいた処理を実行する。このＣＰＵ２２について詳細は、後述する。
【００２４】
ＣＰＵ２２は、メモリ２３に記憶されたシーケンスプログラムを実行することにより、推定部３６、調整部３７及び画像処理部３８の機能を有している。これら推定部３６、調整部３７及び画像処理部３８の機能は、表示部１５に表示する画像の元になる画像データがＭＰフォーマットの画像データとなる場合に機能する。なお、画像データがＭＰフォーマットの画像データであるか否かは、画像データに付帯された付帯情報によって識別することができる。以下、ＭＰフォーマットの画像データを用いた画像の表示をパノラマ表示と称して説明する。パノラマ表示においては、先頭の個別画像を基準として、各個別画像をその表示位置をずらしながら表示部１５に表示していく。
【００２５】
推定部３６は、ＭＰフォーマットで記憶された画像データに格納される個別画像データに基づく画像（個別画像）を全て繋ぎ合わせたときのパノラマ表示のサイズを推定する。詳細には、推定部３６は、ＭＰフォーマットにて記憶される画像データの付帯情報から、配置情報やオーバーラップ情報を読み出す。そして、推定部３６は、読み出した情報と各個別画像の大きさとに基づいて、全ての個別画像を繋ぎ合わせたときのパノラマ表示の水平方向における長さ（幅）Ｗと垂直方向の長さ（高さ）Ｈとを推定する。なお、図２（ａ）においては、７枚の個別画像Ｉ１〜Ｉ７をオーバーラップ情報に基づいて繋ぎ合わせた状態を示している。なお、ハッチングに示す領域がそれぞれ隣り合う個別画像においてオーバーラップする領域である。
【００２６】
調整部３７は、表示器３１のサイズ（図２（ｂ）中幅ｗ、高さｈ）と、パノラマ表示のサイズ（幅Ｗと高さＨ）とに基づいて、パノラマ表示に対する調整を行う。調整部３７は、まず、パノラマ表示の幅Ｗと表示器３１の幅ｗとの比率Ｗ／ｗ、及びパノラマ表示の高さＨと表示器３１の高さｈとの比率Ｈ／ｈをそれぞれ求める。例えば比率Ｗ／ｗ、比率Ｈ／ｈの双方が１以下となる（比率Ｗ／ｗ≦１及び比率Ｈ／ｈ≦１となる）場合には、パノラマ表示のサイズが、表示器３１のサイズよりも小さくなる。この場合、調整部３７は、パノラマ表示に対する調整を行わない。つまり、表示制御回路１６は、ＭＰフォーマットで記憶された画像データの付帯情報に記憶されたオーバーラップ情報及び個別画像データをそのまま使用してパノラマ表示を実行する。
【００２７】
一方、上述した比率Ｗ／ｗ、比率Ｈ／ｈのいずれか一方が１を超過する（比率Ｗ／ｗ＞１又は比率Ｈ／ｈ＞１となる）場合には、パノラマ表示に対する調整を行う。この場合のパノラマ表示に対する調整としては、以下の２通りが考えられる。
（１）パノラマ表示における各個別画像の大きさの調整
繋ぎ合わせたパノラマ表示の幅Ｗ又は高さＨのいずれかが表示器３１のサイズ（幅ｗ又は高さｈ）よりも大きい場合、調整部３７は、各個別画像の大きさを調整する。この各個別画像の大きさの調整としては、具体的には、各個別画像の縮小倍率を調整することである。
【００２８】
上述した比率Ｗ／ｗが１を超過する（比率Ｗ／ｗ＞１となる）場合には、調整部３７は、パノラマ表示の幅Ｗが表示器３１の幅ｗと同一幅、又はそれ以下となるように、各個別画像の縮小倍率を調整する。つまり、調整部３７は、例えば比率Ｗ／ｗの逆数（ｗ／Ｗ）倍を縮小倍率に調整する。同様にして、比率Ｈ／ｈが１を超過する（比率Ｈ／ｈ＞１となる）場合には、調整部３７は、パノラマ表示の高さＨが表示器３１の高さｈと同一高さ、又はそれ以下となるように、各個別画像の縮小倍率を調整する。つまり、調整部３７は、例えば比率Ｗ／ｗの逆数（ｗ／Ｗ）倍を縮小倍率に調整する。また、比率Ｗ／ｗ、比率Ｈ／ｈの双方が１を超過する場合には、比率Ｗ／ｗ又は比率Ｈ／ｈのうち、値が大きい比率を用いて、各個別画像の縮小倍率及び隣り合う個別画像がオーバーラップする領域の幅を調整すればよい。
【００２９】
図２（ａ）、図２（ｂ）に示すように、例えば上述した比率Ｗ／ｗが１を超過する（比率Ｗ／ｗ＞１となる）場合、個別画像Ｉ１の大きさは、個別画像Ｉ１’の大きさ（個別画像Ｉ１の大きさのｗ／Ｗ倍）に調整される。同様にして、個別画像Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７は、それぞれ個別画像Ｉ２’，Ｉ３’，Ｉ４’，Ｉ５’，Ｉ６’，Ｉ７’に調整される。この場合、隣り合う個別画像がオーバーラップする領域の幅Ａ1’，Ａ2’，Ａ3’，Ａ4’，Ａ5’，Ａ6’は、元の幅Ａ1，Ａ2，Ａ3，Ａ4，Ａ5，Ａ6のｗ／Ｗ倍となることから、個別画像の大きさと、オーバーラップする領域の比率は同じになる。
（２）パノラマ表示における各個別画像におけるオーバーラップ量の調整
繋ぎ合わせたパノラマ表示の幅Ｗ又は高さＨのいずれかが表示器３１のサイズ（幅ｗ又は高さｈ）よりも大きい場合、調整部３７は、オーバーラップ情報から得られる水平オーバーラップ量、又は垂直オーバーラップ量のいずれか一方を調整する。例えば比率Ｗ／ｗが１を超過する（比率Ｗ／ｗ＞１となる）場合、調整部３７は、パノラマ表示の幅Ｗが表示器の幅ｗと同一幅、又はそれ以下となるようにオーバーラップ量を調整する。同様にして、比率Ｈ／ｈが１を超過する（比率Ｈ／ｈ＞１となる）場合、調整部３７は、パノラマ表示の高さＨが表示器３１の高さｈと同一高さ、又はそれ以下となるようにオーバーラップ量を調整する。なお、比率Ｗ／ｗ、比率Ｈ／ｈの双方が１を超過する場合には、調整部３７は、隣り合う個別画像におけるオーバーラップ量を調整する。
【００３０】
以下、７枚の個別画像のそれぞれの幅をＢとして説明する。図３（ａ），図３（ｂ）に示すように、隣り合う個別画像においてオーバーラップする領域の幅をＡｎ（ｎ＝１，・・・，６）とし、調整後のオーバーラップする領域の幅をＡｎ”とすると、パノラマ表示の幅Ｗ及び表示器３１の幅ｗは、以下の（１）式及び（２）式で示される。
【００３１】
Ｗ＝７×Ｂ−ΣＡｎ・・・・（１）
ｗ＝７×Ｂ−ΣＡｎ”・・・（２）
【００３２】
これら（１）式及び（２）式から、（３）式が求められる。
ΣＡｎ”＝（Ｗ−ｗ）＋ΣＡｎ・・・・（３）
【００３３】
（３）式において両辺をΣＡｎで割ると、（４）式が得られる。
ΣＡｎ”／ΣＡｎ＝（Ｗ−ｗ）／ΣＡｎ＋１・・・・（４）
【００３４】
したがって、隣り合う個別画像におけるオーバーラップ量は、比率ΣＡｎ”／ΣＡｎで縮小される。例えば個別画像Ｉ１と個別画像Ｉ２との間でオーバーラップする領域の幅をＡ1、調整後のオーバーラップする領域の幅Ａ1”とすると、幅Ａ1”は（５）式となる。
Ａ1”＝ΣＡｎ”／ΣＡｎ×Ａ1＝｛（Ｗ−ｗ）／ΣＡｎ＋１｝×Ａ1・・・（５）
【００３５】
同様にして、調整後における隣り合う個別画像の間でオーバーラップする領域の幅が（４）式から求められる比率を用いて設定される。
【００３６】
この比率を用いて、隣り合う個別画像間のオーバーラップ量を調整する。この例では、隣り合う個別画像間のオーバーラップ量が大きくなるが、パノラマ表示におけるサイズを表示器３１のサイズに合わせることができる。なお、パノラマ表示におけるサイズが表示器３１のサイズよりも大きくなる場合には、上述した比率を隣り合う個別画像間のオーバーラップ量に乗算するだけでなく、比率に対して係数を乗算した値を隣り合う個別画像間のオーバーラップ量に乗算することも可能である。これにより、パノラマ表示のサイズを表示器３１のサイズに合わせることができる。この場合の係数は、固定値であってもよいし、ユーザによって調整可能な値であってもよい。
【００３７】
また、この他に、例えばパノラマ表示の幅Ｗと表示器３１の幅ｗとの差分、或いはパノラマ表示の高さＨと表示器３１の高さｈとの差分を、オーバーラップさせる数（個別画像データの数−１）にて除算し、除算した値を元のオーバーラップ量から算出される値に加算することも考えられる。この方法では、パノラマ表示のサイズを表示器３１のサイズに合わせることが可能となる。
【００３８】
画像処理部３８は、各個別画像データに対して、ぼかし処理を実行する。各個別画像データは、撮像装置を移動させながら撮影を行うことで得られる画像データであることから、個別画像データに基づく個別画像には、高周波成分が多く含まれている。このため、各個別画像データに対してぼかし処理を実行することで、個別画像データに含まれる高周波成分を減少させる。なお、このぼかし処理としては、個別画像の中心から周縁部に向けて、ぼかし量が多くなるようなぼかし処理が挙げられる。なお、このぼかし処理は、必ずしも行う必要はない。また、この画像処理部３８は、調整部３７によって調整された縮小倍率を用いて、各個別画像データを縮小処理する。
【００３９】
メモリ２３は、図示は省略するが、ＲＯＭ領域とＲＡＭ領域とを備えている。ＲＯＭ領域には、シーケンスプログラムが記憶される。ＲＡＭ領域には、シーケンスプログラムを実行したときに発生する演算子や、メディアスロット２０に装着される記憶媒体３５から読み出された画像データが一時記憶される。
【００４０】
以下、ＭＰフォーマットで記憶された画像データを用いてパノラマ表示を行う際の処理の流れについて、図４のフローチャートに基づいて説明する。
【００４１】
ステップＳ１０１は、個別画像を読み出す処理である。ＣＰＵ２２は、記憶媒体３５に記憶されたＭＰフォーマットの画像データに含まれる複数の個別画像データをそれぞれ読み出し、メモリ２３のＲＡＭ領域に書き込む。
【００４２】
ステップＳ１０２は、個別画像を繋ぎ合わせたときのパノラマ表示のサイズを推定する処理である。ＣＰＵ２２は、ＭＰフォーマットにて記憶された画像データに付帯される付帯情報から、配置情報、オーバーラップ情報を読み出し、ステップＳ１０１にて読み出した個別画像データに基づく個別画像を繋ぎ合わせたときのパノラマ表示のサイズ、つまり、パノラマ表示の幅Ｗ及び高さＨが算出される。
【００４３】
ステップＳ１０３は、推定されたパノラマ表示のサイズと表示器３１のサイズとを比較する処理である。ＣＰＵ２２は、ステップＳ１０２によって求めたパノラマ表示の幅Ｗ及び高さＨと、表示器３１３１の幅ｗ及び高さｈとを用いて、パノラマ表示の幅Ｗと表示器３１の幅ｗとの比率Ｗ／ｗ、及びパノラマ表示の高さＨと表示器３１の高さｈとの比率Ｈ／ｈを求める。
【００４４】
ステップＳ１０４は、比率Ｗ／ｗ≦１及び比率Ｈ／ｈ≦１を満足しているか否かを判定する処理である。比率Ｗ／ｗ≦１及び比率Ｈ／ｈ≦１を満足している場合には、ＣＰＵ２２は、ステップＳ１０４の判定処理をＹｅｓとする。この場合、ステップＳ１０６に進む。また、例えば比率Ｗ／ｗ≦１又は比率Ｈ／ｈ≦１のいずれか一方を満足していない場合には、ＣＰＵ２２は、ステップＳ１０４の判定処理をＮｏとする。この場合、ステップＳ１０５に進む。
【００４５】
ステップＳ１０５は、パノラマ表示の調整を行う処理である。このステップＳ１０５の処理は、比率Ｗ／ｗ≦１又は比率Ｈ／ｈ≦１のいずれか一方を満足していない場合、言い換えれば、パノラマ表示の幅Ｗ又は高さＨのいずれか一方が、表示器３１の幅ｗ又は高さｈよりも大きい場合である。このステップＳ１０５の処理内容は、パノラマ表示における各個別画像の大きさの調整、又はパノラマ表示における各個別画像におけるオーバーラップ量の調整の何れかの処理である。このステップＳ１０５が実行されると、ステップＳ１０６に進む。
【００４６】
ステップＳ１０６は、ぼかし処理を行うか否かを判定する処理である。ＣＰＵ２２は、パノラマ表示を実行する際に、各個別画像に対してぼかし処理を行う設定がされている場合には、このステップＳ１０６の判定処理をＹｅｓとする。この場合、ステップＳ１０７に進む。一方、パノラマ表示を実行する際に、各個別画像に対してぼかし処理を行わない設定がされている場合には、ＣＰＵ２２は、このステップＳ１０６の判定処理をＮｏとする。この場合、ステップＳ１０８に進む。なお、各個別画像に対してぼかし処理を行うか否かの設定は、ユーザによって選択されるものでもよいし、各個別画像における高周波成分の分布状態によって自動的に選択されるものでもよい。
【００４７】
ステップＳ１０７は、各個別画像に対してぼかし処理を実行する処理である。ＣＰＵ２２は、読み出した個別画像データに対してぼかし処理を行う。
【００４８】
ステップＳ１０８は、各個別画像を用いたパノラマ表示を実行する処理である。このステップＳ１０８の処理は、表示制御回路１６にて実行される。これにより表示器３１に個別画像を用いたパノラマ表示が実行される。
【００４９】
以下、ステップＳ１０８におけるパノラマ表示の具体例について説明する。ここでは、ステップＳ１０５におけるパノラマ表示に対する調整として、各個別画像の大きさの調整を行う場合について説明する。この場合、ＣＰＵ２２は、メモリ２３に記憶された各個別画像データを読み出した後、ステップＳ１０５によって調整された縮小倍率を用いて、個別画像データのサイズを縮小する。そして、縮小された個別画像データを表示制御回路１６に出力する。この縮小された個別画像データを用いて、以下に示す表示パターンを用いてパノラマ表示を実行する。以下に示す表示パターンを表示パターン１と称する。この表示パターン１を用いたパノラマ表示の流れについて、図５を用いて説明する。
【００５０】
表示制御回路１６は、ＭＰフォーマットの画像データの付帯情報から配置情報及びオーバーラップ情報を読み出して、連続撮影が開始された直後に得られる個別画像（ここでは、個別画像Ｉ’が相当）の表示位置を設定する。
【００５１】
図５（ａ）に示すように、表示制御回路１６は、個別画像Ｉ１’を表示器３１の左端部に表示する。個別画像Ｉ１’を表示させてから所定時間Ｔが経過すると、表示制御回路１６は、水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ２’を表示器３１に表示する。これにより、個別画像Ｉ２’の左側端部が個別画像Ｉ１’の右側端部に重畳され、かつ、重畳される領域において個別画像Ｉ２’が個別画像Ｉ１’よりも前面側に位置するように表示される。個別画像Ｉ２’を表示した後、表示制御回路１６は、表示器３１における個別画像Ｉ１’の表示を終了する。これにより、図５（ｂ）に示すように、個別画像Ｉ２’のみが表示器３１に表示される。なお、上述した所定時間Ｔとは、例えば撮像装置における連続撮影時のシャッター速度に基づいた値である。
【００５２】
表示器３１に個別画像Ｉ２’が表示されてから所定時間Ｔが経過すると、表示制御回路１６は、個別画像Ｉ３’を表示器３１に表示する。この場合も、表示制御回路１６は、水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ３’を表示する。これにより、個別画像Ｉ３’の左側端部が個別画像Ｉ２’の右側縁部に重畳され、かつ、個別画像Ｉ３’が個別画像Ｉ２’よりも前面側に配置されるように表示される。個別画像Ｉ３’を表示した後、表示制御回路１６は、表示器３１における個別画像Ｉ２’の表示を終了する。これにより、図５（ｃ）に示すように、個別画像Ｉ３’のみが表示器３１に表示される。
【００５３】
その後、表示制御回路１６は、上述した動作と同様の動作を行うことで、個別画像Ｉ４’〜Ｉ７’を順次表示する（図５（ｄ）〜図５（ｇ）参照）。なお、これら個別画像Ｉ４’〜Ｉ７’を順次表示していく過程で、表示制御回路１６は、先に表示器３１に表示した個別画像Ｉ３’〜Ｉ６’の表示を順次終了させる。そして、個別画像Ｉ７’が表示されてから所定時間Ｔ経過すると、表示制御回路１６は、表示器３１に表示される個別画像Ｉ７’の表示を終了させる。
【００５４】
つまり、上述したパノラマ表示においては、時間的に隣り合う個別画像のうち、時間的に先に取得された個別画像を表示してから所定時間Ｔ経過したときに、時間的に後に取得された個別画像を表示する。そして、この表示が行われた後に、時間的に先に取得された個別画像の表示を終了させる動作が、全ての個別画像の表示の際に実行される。このように、上述したパノラマ表示においては、個別画像が切り替わりながら順次表示されることから、連続撮影時の印象と同様の構図のパノラマ表示をユーザが観察することができる。この際、隣り合う個別画像間において、撮像装置の角度に基づく視差のズレが生じることになるが、時間的に先に取得された個別画像の表示を、時間的に後に表示される個別画像が表示された後に終了させることから、ユーザの意識を、先に表示された個別画像ではなく、新たに表示される個別画像に向けさせることができるので、各個別画像の表示における視差のズレに対する違和感を与えずに済むという効果が得られる。
【００５５】
また、このパノラマ表示においては、時間的に後に取得された個別画像を表示し、また、この表示の際に時間的に先に取得された個別画像の表示を終了させることで、重畳表示させるときに、画像補正を行わずに済む。
【００５６】
さらに、個別画像に対してぼかし処理を行う場合には、個別画像の外周部分に向けぼかし量が大きくなるので、個別画像の外周部分と、個別画像を表示させる背景部分との境界をぼかすことになるので、ユーザの注意を新たに表示される個別画像に向けさせることができる。これにより、隣り合う個別画像において重複する領域に対するユーザの違和感を低減させることが可能となる。
【００５７】
なお、パノラマ表示における表示パターンは、上述した表示パターン１に限定されるものではなく、例えば表示器３１に個別画像を予め定めた数まで表示させ、それ以降に新たに個別画像を表示した場合に、表示器３１に表示された個別画像のうち、時間が最も長くなる個別画像の表示を停止させる表示パターンであってもよい。この表示パターンを表示パターン２と称して説明する。
【００５８】
表示制御回路１６は、ＭＰフォーマットの画像データの付帯情報から配置情報及びオーバーラップ情報を読み出して、連続撮影が開始された直後に得られる個別画像（ここでは、個別画像Ｉ’が相当）の表示位置を設定する。この設定の後、表示制御回路１６は、表示器３１の左側端部に個別画像Ｉ１’を表示させる。個別画像Ｉ１’を表示させてから所定時間Ｔが経過すると、表示制御回路１６は、水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ２’を表示する。これにより、個別画像Ｉ２’の左側端部が個別画像Ｉ１’の右側端部に重畳され、かつ、重畳される領域において個別画像Ｉ２’個別画像Ｉ１’よりも前面側に位置するように表示される。
【００５９】
さらに所定時間Ｔが経過すると、表示制御回路１６は、水平オーバーラップ量及び垂直オーバーラップ量に基づいて、個別画像Ｉ３’を表示器３１に表示する。これにより、個別画像Ｉ３’の左側端部が個別画像Ｉ２’の右側端部に重畳され、かつ、重畳される領域において個別画像Ｉ３’が個別画像Ｉ２’よりも前面側に位置するように表示される。これにより、個別画像Ｉ１’〜Ｉ３’が表示器３１に重畳表示される（図６（ａ）参照）。
【００６０】
各個別画像を表示器３１に順次表示させていく過程で、表示制御回路１６は、表示器３１に表示される個別画像の数をカウントする。そして、表示制御回路１６は個別画像の数のカウントが所定数（閾値）に到達しているか否かを判定する。なお、図６においては、表示器３１に表示された個別画像の数が閾値である３となる場合について説明している。
【００６１】
表示器３１に個別画像Ｉ３’が表示されてから所定時間Ｔが経過すると、表示制御回路１６は、水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ４’を表示する。個別画像Ｉ４’を表示した後、表示制御回路１６は、表示器３１に表示される個別画像Ｉ１’〜Ｉ３’のうち、表示された時間が最も長い、言い換えれば、最初に表示器３１に表示された個別画像Ｉ１’の表示を終了させる。つまり、表示器３１には、個別画像Ｉ２’〜Ｉ４’が表示される（図６（ｂ）参照）。
【００６２】
個別画像Ｉ４’を表示してから所定時間Ｔが経過すると、表示制御回路１６は、個別画像Ｉ５’を表示する。個別画像Ｉ５’を表示した後、表示制御回路１６は、表示器３１に表示される個別画像Ｉ２’〜Ｉ４’のうち、表示された時間が最も長い個別画像Ｉ２’の表示を終了させる。これにより、表示器３１には、個別画像Ｉ３’〜Ｉ５ ’が表示される（図６（ｃ）参照）。
【００６３】
同様にして、所定時間Ｔが経過するたびに、表示制御回路１６は、個別画像Ｉ６’、Ｉ７’を順次表示させ、個別画像Ｉ３’、Ｉ４’の表示を順次終了する（図６（ｄ）、図６（ｅ）参照）。この個別画像Ｉ７’が表示器３１に表示されると、新たに表示させる個別画像はないことから、表示制御回路１６は、所定時間Ｔが経過するたびに、表示器３１に表示された個別画像のうち、最も表示される時間が長い個別画像の表示を順次終了させていく。つまり、表示器３１に表示される個別画像が個別画像Ｉ５〜Ｉ７となる場合には、個別画像Ｉ５、個別画像Ｉ６、個別画像Ｉ７の順で、その表示が終了していく（図６（ｆ）〜図６（ｈ）参照）。
【００６４】
この表示パターン２を用いたパノラマ表示においては、隣り合う個別画像が重畳されて表示される。この隣り合う個別画像間で重畳される領域においては、撮像装置の角度に基づく視差のズレが生じることになるが、所定時間Ｔごとに個別画像が表示されることで、ユーザの意識は、新たに表示される個別画像に向けられるので、各個別画像に対して、撮像装置の角度に基づいて生じる視差のズレへの注意を向けさせることでのパノラマ表示に対する違和感を与えずに済む。
【００６５】
なお、パノラマ表示は、上述した表示パターン１および表示パターン２の他に、全ての個別画像を撮影された順序で順次表示した後、個別画像を表示した順序で、各個別画像の表示を終了していく表示パターンを用いたパノラマ表示を行うことも可能である。以下、この表示パターンを、表示パターン３と称して説明する。
【００６６】
表示制御回路１６は、ＭＰフォーマットの画像データの付帯情報から配置情報及びオーバーラップ情報を読み出して、連続撮影が開始された直後に得られる個別画像（ここでは、個別画像Ｉ’が相当）の表示位置を設定する。
【００６７】
図７（ａ）に示すように、表示制御回路１６は、表示器１３の左側端部に、個別画像Ｉ１’を表示する。表示器３１に個別画像Ｉ１’を表示してから所定時間Ｔ経過したときに、表示制御回路１６は、水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ２’を表示する（図７（ｂ）参照）。これにより、個別画像Ｉ２’の左側端部が個別画像Ｉ１’の右側端部に重畳され、かつ、重畳される領域において個別画像Ｉ２’が個別画像Ｉ１’よりも前面側に位置するように表示される。
【００６８】
そして、個別画像Ｉ２’が表示器３１に表示されてから所定時間Ｔが経過したときに、表示制御回路１６は水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ３’を表示する（図７（ｃ）参照）。これにより、個別画像Ｉ３’の左側端部が個別画像Ｉ２’の右側端部に重畳され、かつ、重畳される領域において個別画像Ｉ３’が個別画像Ｉ２’よりも前面側に位置するように表示される。同様にして、表示制御回路１６は、所定時間Ｔ経過するたびに、水平オーバーラップ量及び垂直オーバーラップ量に基づいて個別画像Ｉ４’、個別画像Ｉ５’、個別画像Ｉ６’および個別画像Ｉ７’を順次表示する（図７（ｄ）〜（ｇ）参照）。これにより、個別画像Ｉ１’〜Ｉ７’の全ての個別画像が表示器３１に表示される。
【００６９】
全ての個別画像が表示器３１に表示されてから、所定時間Ｔが経過すると、表示制御装置は、表示器３１に表示される表示器３１に表示される個別画像のうち、最も表示時間の長い個別画像の表示を順次終了させていく。図８（ａ）〜図８（ｇ）に示すように、表示制御回路１６は、個別画像Ｉ１’、個別画像Ｉ２’、個別画像Ｉ３’、・・・、個別画像Ｉ６’および個別画像Ｉ７’の順で、その表示が終了される。
【００７０】
この表示パターン３に基づくパノラマ表示においても、表示パターン２に基づくパノラマ表示と同様にして、隣り合う個別画像が重畳されて表示される。この隣り合う個別画像間で重畳される領域においては、撮像装置の角度に基づく視差のズレが生じることになるが、所定時間Ｔごとに個別画像が表示されることで、ユーザの意識は、新たに表示される個別画像に向けられるので、各個別画像に対して、撮像装置の角度に基づいて生じる視差のズレへの注意を向けさせることでのパノラマ表示に対する違和感を与えずに済む。
【００７１】
なお、上述した表示パターン１〜表示パターン３に基づくパノラマ表示に使用される個別画像として、撮像装置を左方から右方に移動させながら撮影を行うことで得られる画像を例に挙げているが、これに限定される必要はなく、撮像装置を右方から左方に移動させる、又は、撮像装置を上方向から下方向に（又はその逆に）移動させながら撮影を行うことで得られる画像を用いた場合であっても、表示パターン１から表示パターン３に基づく同一の処理が実行される。
【００７２】
なお、これら表示パターン１〜３は、予めユーザの操作によって選択されるものであってもよいし、表示パターン１〜３のいずれかのみ設定されるものであってもよい。
【００７３】
上述したパノラマ表示が実行される場合、ステップＳ１０５のパノラマ表示における調整の処理は、各個別画像の大きさの調整の場合の他、各個別画像におけるオーバーラップ量の調整を用いた場合も挙げられる。ステップＳ１０５のパノラマ表示の調整において、各個別画像におけるオーバーラップ量の調整が実行した場合であっても、ステップＳ１０８のパノラマ表示において、上述した表示パターン１〜表示パターン３のいずれかの表示パターンを用いたパノラマ表示が実行される。この場合、ステップＳ１０８におけるパノラマ表示において、表示制御回路１６はステップＳ１０５の処理によって調整されたオーバーラップ量を用いて各個別画像を表示する。パノラマ表示の調整として各個別画像のオーバーラップ量の調整を行った場合には、連続撮影時の撮像装置の移動量と個別画像の位置との相関が図れなくなるが、表示器３１に表示される個別画像を縮小して表示する必要はないので、個別画像自体の見にくさを抑制することができる。
【００７４】
上述したパノラマ表示における表示パターン１〜３においては、表示器３１に表示される各個別画像の表示位置は個別画像Ｉ１を基準にし、また、オーバーラップ量に基づいた表示位置となるが、これに限定される必要はなく、次の個別画像を表示するまでの所定時間Ｔ内に、表示器３１に表示される個別画像の表示位置を、連続撮影時に撮像装置を移動させた方向とは逆の方向に移動させることも可能である。
【００７５】
以下、表示パターン１におけるパノラマ表示において、個別画像Ｉ３を表示器３１に表示させた場合について図９を用いて説明する。表示制御回路１６は、個別画像Ｉ３を表示器３１に表示させた後、表示されていた個別画像Ｉ２の表示を終了する。これにより、図９（ａ）に示すように、個別画像Ｉ３が表示器３１に表示される。表示パターン１の場合には、この状態から所定時間Ｔ経過した後に、表示制御回路１６は個別画像Ｉ４を表示器３１に表示する。なお、表示器３１に表示される個別画像Ｉ３の表示位置は個別画像Ｉ２の表示位置よりも右方となる。つまり、連続撮影時における撮像装置の移動方向は、図中Ａ方向となる。
【００７６】
個別画像Ｉ３を表示器３１に表示させてから所定時間Ｔ経過すると、表示制御回路は個別画像Ｉ４を表示器３１に表示させる。この個別画像Ｉ４を表示させるまでの所定時間Ｔにおいて、表示制御回路１６は、表示器３１に表示された個別画像Ｉ３を、連続撮影における撮像装置の移動方向（Ａ方向）とは逆方向（図中Ｂ方向）に移動させる（図９（ｂ）参照）。なお、図９（ｂ）においては、図中二点差線で示す位置が、個別画像Ｉ３の表示を開始した位置である。表示制御回路１６は、個別画像Ｉ３の表示位置を二点差線で示される位置から実線で示される位置までを所定時間Ｔにおいて移動させる。この個別画像をＢ方向に移動させる速度や移動量は、適宜設定されるものである。
【００７７】
図９（ｃ）に示すように、個別画像Ｉ３を表示器３１に表示させてから所定時間Ｔ経過した後、表示制御回路１６は個別画像Ｉ４を表示器３１に表示させる。この個別画像Ｉ４を表示させる位置は、ＭＰフォーマットにより記憶された画像データの付帯情報であるオーバーラップ量に基づく位置である。つまり、表示制御回路１６は、表示パターン１におけるパノラマ表示と同様に、表示器に表示される個別画像Ｉ３に対して、オーバーラップ量に基づいて個別画像Ｉ４を重畳させて表示する。なお、他の個別画像を表示する際も同様である。
【００７８】
このように表示器３１に表示される個別画像を、連続撮影における撮像装置の移動方向とは逆方向に移動させることで、各個別画像を縮小しなくとも、全個別画像を表示器３１内で表示させることが可能となる。また、このような表示を行うことで、各個別画像に対する流動感を与えることができる。
【００７９】
なお、表示器３１に表示される個別画像を連続撮影における撮像装置の移動方向とは逆方向に移動させる形態は、表示パターン１を用いたパノラマ表示の他、表示パターン２を用いたパノラマ表示の場合に適用させることができる。
【００８０】
本実施形態においては、隣り合う個別画像を表示する際に、後に表示される個別画像を先に表示される個別画像よりも前面側に位置するように表示させている。この場合、重複する領域においては、先に表示された個別画像が後に表示される個別画像によって被覆される状態となるので、後に表示される個別画像においては、先に表示される個別画像と重複する領域に対して、すかし処理を行うことも可能である。
【００８１】
本実施形態では、個別画像を表示器３１に表示させるとしか記載していないが、表示器３１の表示領域を使用して個別画像を表示させてもよいし、表示器３１の一部の表示領域を使用して個別画像を表示させる場合であってもよい。
【００８２】
本実施形態では、ＭＰフォーマットにて記憶される画像データを例に取り上げているが、これに限定される必要はなく、連写撮影により得られる連続画像を用いてパノラマ表示を実行する場合であってもよい。この場合、連写撮影により得られる各画像は、それぞれＥｘｉｆ形式の画像データとして記憶される。つまり、オーバーラップ情報は各画像データに付帯されていないので、ＣＰＵ２２は、各画像データを読み出した後、各画像データに対して特徴量を抽出する処理を実行する。この処理により抽出される特徴量を用いて、隣り合う画像間の類似度を求めた後、隣り合う画像間のオーバーラップ量を算出する。このオーバーラップ量を用いて、ＣＰＵ２２は画像全体のサイズを推定する処理を行えばよい。このような動作を行うことで、ＭＰフォーマットにて記憶される画像データでなくとも、パノラマ表示を行うことが可能となる。
【００８３】
本実施形態では、記憶媒体３５に記憶される画像データに基づいてパノラマ表示を行う場合について説明しているが、これに限定される必要はなく、接続Ｉ／Ｆを介して外部機器と接続される場合には、外部機器に記憶される画像データを用いたパノラマ表示を実行させることも可能である。
【００８４】
本実施形態では、画像表示装置としているが、これに限定される必要はなく、デジタルカメラに代表される撮像装置や、カメラ機能を備えた携帯電話機や、パーソナルコンピュータなどであってもよい。
【００８５】
また、この他に、図４に示すフローチャートの処理や、図５〜図９に示した表示パターンを用いたパノラマ表示をコンピュータに実行させるための画像表示プログラムであってもよい。この場合、画像表示プログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００８６】
１０…画像表示装置、１５…表示部、１６…表示制御回路、２２…ＣＰＵ、３１…表示器、３６…推定部、３７…調整部、３８…画像処理部
【図１】
2013172254.tif 000003
【図２】
2013172254.tif 000004
【図３】
2013172254.tif 000005
【図４】
2013172254.tif 000006
【図５】
2013172254.tif 000007
【図６】
2013172254.tif 000008
【図７】
2013172254.tif 000009
【図８】
2013172254.tif 000010
【図９】
2013172254.tif 000011