(57)【要約】【課題】高画質なパノラマ画像を作成するための画像データが正確に撮影されているか否かが分かるようにして、動画像から高画質なパノラマ画像を作成する撮像装置を提供する。【解決手段】撮影により得られる部分画像系列を受け取り（Ｓ１０１）、前記部分画像について撮影時の地理的位置関係を算出して画像位置を判定し（Ｓ１０２）、各部分画像について撮影領域を算出して画像領域を判定する（Ｓ１０３）。次に、前記画像位置判定手段と画像領域判定手段に基づいて全撮影領域を算出して撮影領域を判定し（Ｓ１０４）、前記部分画像系列から表示に用いる複数の部分画像を選択する（Ｓ１０５）。選択された複数の部分画像を、前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマイメージを作成し（Ｓ１０６）、パノラマ・プレビュー画像を表示する（Ｓ１０７）。【選択図】図２
2010204773.tif 000002
【特許請求の範囲】
【請求項１】
撮影により得られる部分画像系列を受け取る手段と、
前記部分画像について撮影時の地理的位置関係を算出する画像位置判定手段と、
各部分画像について撮影領域を算出する画像領域判定手段と、
前記画像位置判定手段と画像領域判定手段に基づいて全撮影領域を算出する撮影領域判定手段と、
前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択手段と、
前記選択された複数の部分画像を前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示するパノラマ・プレビュー表示手段を有することを特徴とする撮影装置。
【請求項２】
請求項１に記載された撮影装置において、
前記表示画像選択手段は、互いの撮影領域の重複度が予め指定された値以下となるように選択することを特徴とする撮影装置。
【請求項３】
請求項２に記載された撮影装置において、
前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記画像位置判定手段によって算出された画像の位置関係、および距離感を保持して配置し表示することを特徴とする撮影装置。
【請求項４】
請求項３に記載された撮影装置において、
前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記算出された撮影領域に対する表示画像サイズの倍率が一定となるように拡大又は縮小して表示することを特徴とする撮影装置。
【請求項５】
請求項３に記載された撮影装置において、
前記撮影領域判定手段において算出された全撮影領域内で撮影されていない領域を検出する空白領域検出手段を更に有し、
前記パノラマ・プレビュー表示手段において、
前記検出された空白領域をパノラマイメージと共に示すことを特徴とする撮影装置。
【請求項６】
請求項３に記載された撮影装置において、
前記撮影領域判定手段において算出された全撮影領域内で撮影されていない領域を検出する空白領域検出手段を更に有し、
前記空白領域の大きさを表す値がある所定の値以下である場合には、パノラマイメージを作成しないことを特徴とする撮影装置。
【請求項７】
請求項２に記載された撮影装置において、
前記入力された部分画像系列から移動する物体を検知する移動物体検知手段を更に有し、
前記画像選択手段は、前記移動物体を含む部分画像を選択対象から除外することを特徴とする撮影装置。
【請求項８】
請求項３に記載された撮影装置において、
前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、
前記パノラマ・プレビュー表示手段は、
前記算出されたフレーム密度がある所定の値よりも低い領域をパノラマイメージと共に示すことを特徴とする撮影装置。
【請求項９】
請求項２に記載された撮影装置において、
前記画像領域判定手段によって算出された撮影領域に基づき領域外と判断される部分画像データを削除することを特徴とする撮影装置。
【請求項１０】
請求項９に記載された撮影装置において、
前記画像領域判定手段において算出される画像領域が複数点在する場合において、ある所定の値よりも小さい領域を領域外の候補とすることを特徴とする撮影装置。
【請求項１１】
請求項９に記載された撮影装置において、
前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、
前記画像領域判定手段は、前記算出されたフレーム密度がある所定の値よりも低い場合に前記領域をユーザーの意図した撮影対象外領域として除外することを特徴とする撮影装置。
【請求項１２】
撮影により得られる部分画像系列を受け取る工程と、前記部分画像について撮影時の地理的位置関係を算出する画像位置判定工程と、各部分画像について撮影領域を算出する画像領域判定工程と、前記画像位置判定工程と画像領域判定工程に基づいて全撮影領域を算出する撮影領域判定工程と、前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択工程と、を有し、
前記選択された複数の部分画像を、前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示することを特徴とするパノラマ・プレビュー画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続撮影された画像系列を解析し、パノラマ画像生成したイメージを表示するパノラマ・プレビュー機能を備えた撮影装置及びパノラマ・ビュー画像表示方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラを用いて撮影した写真をコンピューター内に画像データとして保存し、電子アルバムとして楽しんだり、友人にメールで写真を送付したり、といった事が頻繁に行われるようになった。また、これらの画像データについて、赤目補正やコントラスト調整などを自動で行う画像処理技術があり、ユーザーの好みに合うように簡単に加工・編集する機能を有するソフトも数多く提供されている。
【０００３】
これらの機能の一つに、複数の画像を接合して広視野画像（以下、「パノラマ画像」という）を生成する機能がある。例えば海や山などの風景を撮影する場合、１枚の写真に風景全体を収めることが難しかったり、一方、建築物などのように縦横比が極端に異なる被写体の場合、定められた矩形内に対象を収めることが難しいといったケースが発生する。
そのような場合に、連続撮影した一連のフレームについて各フレーム画像間の位置関係を判定し、うまく接合して１枚の画像データを生成できれば、ユーザーは自分の撮影した画像データをより一層楽しむことができる。
【０００４】
このようなパノラマ画像生成処理については、例えば特許文献１に開示されている。また、ビデオカメラで情景を撮影するときに、時間を一定にして貼りあわせてパノラマ画像を生成する方法が非特許文献１に記載されている。
このようなパノラマ画像を生成する場合、合成処理に利用する部分画像データをユーザーが手動で選別する作業は負荷が大きいため、撮影された複数の写真の地理的位置を判定することで、生成に利用する画像データを自動で選別する方法が特許文献２に記載されている。
【０００５】
しかしながら、パノラマ画像を生成する場合、所望の撮影範囲の画像データが正確に撮影されている保障はなく、例えば、パノラマ化したい領域の一部のデータが欠けている可能性もあり得る。この場合、上述の方法を用いても、パノラマ画像を正確に再現することは困難である。
したがって、連続撮影などで撮影した複数の画像を上記従来技術で接合してパノラマ画像を作成するためには、予め必要かつ十分な画像データを撮影する必要がある。
つまり、具体的には、撮影時には少なくとも
（１）対象がもれなく撮影されていること、
（２）所望の矩形領域にうまく収まっていること、が必要である。
【０００６】
そのため、撮影時に何らかの情報を参照しながら上述の（１）、（２）の事項を確認することが求められる。その一方法として、例えば、特許文献３には、ユーザーが撮影装置を手動操作して撮像対象を連続撮影して得た一連の部分画像を、互いに接合してパノラマ画像を生成する技術が開示されている。
具体的には、部分画像系列からカメラの３次元位置と姿勢の変化を時系列で算出し、その情報に基づいて部分画像間の変形を補正しながら部分画像の接合を行い、それによってパノラマ画像の生成を行っている。そのため、特許文献３に記載された発明は、パノラマ画像生成の際に、カメラと撮影対象の相対位置の変化や、カメラの姿勢の変化などを視覚的に提示したり、パノラマ生成に適した撮影方法を誘導すると共に、撮影中にカメラが異常な（画像の劣化に影響を与える）動きをした場合にそれを検知する機能をも備えている。
【０００７】
ところで、ビデオカメラなどにより撮影された画像系列からパノラマ画像を作成する場合、パノラマ画像を一瞬を捉えた画像として再現したい場合が多いが、撮影される画像には時間的な変化が生じるために、例えば、動画撮影時に、シーンの変わり目やカメラのＡＥ（自動露出）、ＡＷＥ（ホワイトバランス）による変化が生じることが考えられる。
例えば、（１）測光のレベルが変化しているシーンでは、被写体において白飛びや黒沈みしている領域が変化する。このような領域では、近隣フレームの複数画像によって画素補間を行い、実際の解像度よりも高解像度の画像を得る超解像処理において基準画像からのずれが大きくなるため、補間処理に使用するフレームとしては適当でない。
（２）白色再現のためのホワイトバランスの検出レベルが変化しているシーンでは、同じ被写体でも色相が変化する。このような領域では上記超解像処理において基準画像からのずれが大きくなり、補間処理に使用するフレームとしては適当でない。
また、動画撮影時に予期せずに車などの高速で動く物体が写り込んでしまった場合、画像間のずれが大きく自然なパノラマ画像を生成することは難しい。
【０００８】
これに対し、特許文献３に記載された方法では、撮影対象領域が漏れなく撮影されているか、意図に反する撮影フレームが混在していないか、などパノラマ画像をイメージした上での細かい情報を確認することは困難である。
【０００９】
一方、特許文献４には、シーンの変わり目やカメラのＡＥ、ＡＷＥによる変化にも対応した高品質なパノラマ画像を撮影するために、撮影時に露出、ホワイトバランス及び焦点の少なくとも一つを一定とし、不均一でない一様なパノラマ画像を生成する方法が開示されている。ここでは、露出、ホワイトバランス、焦点の最適条件は、初回撮影時に決定するか、もしくは複数回撮影して最も好ましいものに設定し、以後の撮影を行っている。
しかし、特許文献４の方法を用いても、撮影領域に不備がないかどうかを確認することはできない。
そこで、撮影装置において、撮影時に、撮影した領域を教えるだけでなく、高画質に再現するための画像データが正確に撮影されているかを検知し、ユーザーに知らせたり、撮影方法を誘導したりする機能が望まれている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記従来技術で未解決の問題に鑑みてなされたものであり、その目的は、高画質なパノラマ画像を作成するための画像データが正確に撮影されているか否かが分かるようにして、動画像から高画質なパノラマ画像を作成する撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
請求項１の発明は、撮影により得られる部分画像系列を受け取る手段と、前記部分画像について撮影時の地理的位置関係を算出する画像位置判定手段と、各部分画像について撮影領域を算出する画像領域判定手段と、前記画像位置判定手段と画像領域判定手段に基づいて全撮影領域を算出する撮影領域判定手段と、前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択手段と、前記選択された複数の部分画像を前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示する表示手段を有することを特徴とする撮影装置である。
請求項２の発明は、請求項１に記載された撮影装置において、前記表示画像選択手段は、互いの撮影領域の重複度が予め指定された値以下となるように選択することを特徴とする撮影装置である。
請求項３の発明は、請求項２に記載された撮影装置において、前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記画像位置判定手段によって算出された画像の位置関係、および距離感を保持して配置し表示することを特徴とする撮影装置である。
請求項４の発明は、請求項３に記載された撮影装置において、前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記算出された撮影領域に対する表示画像サイズの倍率が一定となるように拡大又は縮小して表示することを特徴とする撮影装置である。
請求項５の発明は、請求項３に記載された撮影装置において、前記撮影領域判定手段において算出された全撮影領域内で撮影されていない領域を検出する空白領域検出手段を更に有し、前記パノラマ・プレビュー表示手段において、前記検出された空白領域をパノラマイメージと共に示すことを特徴とする撮影装置である。
請求項６の発明は、請求項３に記載された撮影装置において、前記撮影領域判定手段において算出された全撮影領域内で、撮影されていない領域を検出する空白領域検出手段を更に有し、前記空白領域の大きさを表す値が所定の値以下である場合には、パノラマイメージを作成しないことを特徴とする撮影装置である。
請求項７の発明は、請求項２に記載された撮影装置において、前記入力された部分画像系列から移動する物体を検知する移動物体検知手段を更に有し、前記画像選択手段は、前記移動物体を含む部分画像を選択対象から除外することを特徴とする撮影装置である。
請求項８の発明は、請求項３に記載された撮影装置において、前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、前記パノラマ・プレビュー表示手段は、前記算出されたフレーム密度がある所定の値よりも低い領域をパノラマイメージと共に示すことを特徴とする撮影装置である。
請求項９の発明は、請求項２に記載された撮影装置において、前記画像領域判定手段によって算出された撮影領域に基づき、領域外と判断される部分画像データを削除することを特徴とする撮影装置である。
請求項１０の発明は、請求項９に記載された撮影装置において、前記画像領域判定手段において算出される画像領域が複数点在する場合において、ある所定の値よりも小さい領域を領域外の候補とすることを特徴とする撮影装置である。
請求項１１の発明は、請求項９に記載された撮影装置において、前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、前記画像領域判定手段は、前記算出されたフレーム密度がある所定の値よりも低い場合に前記領域をユーザーの意図した撮影対象外領域として除外することを特徴とする撮影装置である。
請求項１２の発明は、撮影により得られる部分画像系列を受け取る工程と、前記部分画像について撮影時の地理的位置関係を算出する画像位置判定工程と、各部分画像について撮影領域を算出する画像領域判定工程と、前記画像位置判定工程と画像領域判定工程に基づいて全撮影領域を算出する撮影領域判定工程と、前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択工程と、を有し、前記選択された複数の部分画像を、前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示することを特徴とする画像表示方法である。
【発明の効果】
【００１２】
本発明によれば、デジタルカメラ、もしくはデジタルビデオカメラなどを利用して撮影した複数の静止画、又は動画をＰＣ（パーソナルコンピュータ）上で加工し、パノラマ画像を作成することができる。
また、本発明によれば連続撮影によって得られた画像系列の位置関係、及び撮影領域などを判定してパノラマ・イメージを作成し、パノラマプレビューとしてユーザーに提示するため、ユーザーはパノラマ画像生成に必要な画像が撮影されているかを容易に確認することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る撮影装置の構成図である。
【図２】本実施形態において、撮影装置によって撮影した撮影画像に基づきパノラマ・プレビューが作成されるまでの基本的な処理を概略的に示すフローチャートである。
【図３】図３Ａ〜３Ｄは部分画像の位置関係を説明する図である。
【図４】撮影対象が複数の独立した領域から構成される場合に、各フレームの相対位置を算出した結果を示す表示例である。
【図５】パノラマイメージ用の画像の選定方法の実行手順を示すフローチャートである。
【図６】パノラマイメージ生成方法の実行手順を示すフローチャートである。
【図７】未撮影領域の検出方法の処理手順を示すフローチャートである。
【図８】未撮影領域の検出方法の処理手順を示すフローチャートである。
【図９】未撮影領域をビュー上で提示した表示例を示す図である。
【図１０】移動物体検知結果を反映した表示用画像選択方法の実行手順を示すフローチャートである。
【図１１】パノラマ・プレビュー画面上でフレーム数の少ない領域をユーザーに提示する方法の実行手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１は本発明の実施形態に係る撮影装置の構成を示すブロック図である。
本発明の撮影装置は、撮影レンズ１０１、シャッタ１０２と例えば、ＣＣＤ、ＣＭＯＳ等の撮像素子１０４を備えた撮影ユニット１００と、撮像レンズ１０１などの光学系を駆動する光学系駆動部１０５、上記撮像素子１０４を駆動する撮像素子駆動部１０６、撮影ユニットで撮影した撮影画像についての補正や処理を行う画像処理部１０７、撮影画像を表示する画像表示部１０８、撮影画像を蓄積する画像バッファ用メモリ１０９、画像記録部１１０、プログラム用メモリ１１１、操作部１１２、及び制御部１１３を備える。
【００１５】
図２は、本実施形態において、上記撮影装置によって撮影した撮影画像に基づきパノラマ・プレビューが作成されるまでの基本的な処理を概略的に示すフローチャートである。
即ち、まず撮影によって得られる部分画像系列を受け取り（Ｓ１０１）、各部分画像の位置関係を判定し（Ｓ１０２）、かつ、部分画像に収められた撮影対象の領域を判定する（Ｓ１０３）。続いて、これらの情報から撮影領域を判定し（Ｓ１０４）、部分画像系列から表示用の画像を選択する（Ｓ１０５）。最後に、パノラマイメージを作成し（Ｓ１０６）、パノラマ・プレビューを表示する（Ｓ１０７）。
【００１６】
次に、図２のＳ１０２における部分画像の位置関係を算出して判定する方法について説明する。
同一のシーンを撮影した複数の画像を統合し、一枚の大きな画像を生成する方法は一般的にはモザイキングと呼ばれ、画像処理の基本的な手法の一つである。例えば、ある時点におけるフレームの画像（＝画像１）上の点（ｘ１、ｙ１）を中心とする近傍の矩形領域のパターンをテンプレートとして、テンプレート画像を次フレーム画像（＝画像２）において探索し、最もマッチする点（ｘ２、ｙ２）を画像１上の点の画像２上の対応点とし、この対応点との関係を射影変換行列として表現することで、カメラ位置姿勢情報を求めることが可能である。簡単な例として、ある撮影画像と、そこから縦横方向に少し移動させて撮影した画像について位置関係を算出する方法を示すと、図３Ａにおいて、２つの画像間で対応点（ｘ１、ｙ１）と（ｘ２、ｙ２）が見つかった場合、x方向の位置ズレは、図３Ｂに示すように｜ｘ１−ｘ２｜、y方向の位置ズレは｜ｙ１−ｙ２｜となり、これが二つの部分画像の位置関係となる。
なお、位置合わせに関する方法は上述のものに限らず、この他にもＳＩＦＴ（Scale Invariant Feature Transform）特徴点などを用いてモザイキングを行ってもよい。SIFTは局所不変特徴量を抽出する一手法であり、画像の拡大縮小、照明変動、視点の変化に強いという特徴を有する。視点や光学特性の異なる撮影画像間における対応点探索処理では、SIFTの持つ不変性が有効に機能することが期待される。SIFT特徴点同士のマッチングは、SIFT鍵の値に最近傍探索を適用することで行う。特徴量間の距離として、記述子間のユークリッド距離を用い、距離が最小となるものからマッチングの候補とする。2枚の画像において共通の対応点が観測されている場合、その対応点の、部分画像上の位置ズレを部分画像間の相対位置関係とする。
【００１７】
次に、上記ステップＳ１０３の部分画像に収められた撮影対象の領域、即ち部分画像に対応する撮影領域（画像領域と呼ぶ）を算出して判定する方法について説明する。
まず、ある時点におけるフレーム画像（＝画像１）と次フレーム画像（＝画像２）において前述のように特徴点と対応点を求める。図３Ｃにおいて、画像1における特徴点1と特徴点2のユークリッド距離をd1とし、画像2におけるそれぞれの対応点間のユークリッド距離をd2とする。画像1の撮影領域面積をS1とすると、画像2には縦横それぞれd1／d2倍広い領域が撮影されているため、撮影領域面積はS1×（d1／d2）×（d1／d2）となる。パノラマイメージを作成する際、あるフレームの画像における撮影領域面積を基準とし、撮影領域面積に合わせて画像を適宜拡大縮小表示した上で、イメージ上に配置することができるようになる。例えば、画像1を基準画像とした場合、画像2は縦と横それぞれ（d1／d2）倍に拡大してパノラマイメージ上に表示する。これにより、同一被写体を異なる焦点位置で撮影した場合にも被写体の大きさが、パノラマイメージを構成する部分画像上では一定に保たれ、パノラマイメージの視認性を維持する。
なお、この算出方法自体は本願発明を構成するものではなく、周知又は公知の算出方法を用いることができる。
【００１８】
上記ステップＳ１０４の撮影領域を判定する方法について説明する。
ユーザーが撮影を意図した領域を予測する場合、いくつかの方法が考えられる。以下で説明する最も基本的な方法（方法１）の他に、手ぶれなど原因で意図しない撮影が行われた場合などに、余計な撮影領域を除去する方法など（方法２、３）が考えられる。なお、撮影領域が判定した場合には、撮影フレームの中で、撮影対象外となるフレームはデータから削除することで、無駄なデータを保持しない構成としてもよい。
【００１９】
撮影領域を判定する方法について
（方法１）
この方法１では、撮影された全フレームに対応する撮影領域を含む最小の矩形を選択し、矩形領域を撮影領域と判定する。
以下、判定方法算出方法の1例を示す。
まず、フレーム1を基準フレームとした場合、図３Ｄに示すように、フレーム1とフレーム2の相対位置情報（フレーム1→フレーム2：右1、下3）、フレーム2とフレーム3（フレーム2→フレーム3：右−4、下2）の相対位置情報からフレーム1とフレーム3の相対位置情報は、（フレーム1→フレーム3：右1−4=-3、下3+2=5）のように算出される。このように、2フレーム間の相対位置情報から、ある1つの基準フレームに対する相対位置情報が算出され、絶対座標値が算出される。この絶対座標値内でx方向の最小座標値と最大座標値、y方向の最小座標値と最大座標値を有するフレーム画像を抽出する。この時、x方向の最小最大、y方向の最小最大となるフレームが複数抽出された場合、フレームに対する画像領域を判定し、画像領域の大きい方を選択することで、左上端、右上端、左下端、右下端の4フレームを選択する。ｘ方向で最小となるフレームに対応する画像領域のx方向の最小値をｘMin、ｘ方向で最大となるフレームに対応する画像領域のx方向の最大値をｘMax、ｙ方向で最小となるフレームに対応する画像領域のｙ方向の最小値をｙMin、ｙ方向で最大となるフレームに対応する画像領域のｙ方向の最大値をｙMaxとし、ｘMin、ｘMax、ｙMin、ｙMaxで決定される矩形領域を撮影領域と判定する。
この他に、各フレームから画像領域を算出して（方法は『００１７』記載）、全フレームの画像領域の面積を撮影領域とする方法も考えられる。この方法の場合、撮影領域が斜め方向の直線上に並んだ場合など、外接矩形の面積が大きくても実際に撮影された領域は小さい、という場合があり得るので、誤って写り込んでしまった小領域（エリア）を、より適切に判断できるという利点がある。
【００２０】
（方法２）
撮影対象が複数の独立した領域から構成される場合に、各フレームの相対位置を算出した結果、図４のように撮影領域がいくつかの小領域（エリア）に分割されている場合が想定されるが、エリア４のように極めて小さな領域は、パノラマ画像の生成を意図した撮影として適切でなく、かつ誤操作によって写り込んでしまった可能性が高いため、この方法では、撮影領域の大きさがあるしきい値以上の領域のみを撮影対象領域と判定する。
小領域（エリア）構成法としては、例えば、上記のように外接矩形を用いて撮影領域を判定する場合、まず、あるフレームをエリア1の基準フレームとして任意に選択し、基準フレームとの相対位置情報から連結していると判断されるフレームをエリア1に含まれるフレームと判定する。以後、エリア1に含まれるフレームと連結しているフレームをエリア1に含まれるフレームと判定する。このようにして、エリア1に属するフレーム群を選択し、エリア1に含まれていないフレームの中からエリア2の基準フレームを選択し、同様にしてエリア2に属するフレーム群を判定していく。このようにして構成したエリアが2つ以上の場合、小領域（エリア）に分割されていると判定し、各小領域（エリア）に対して『００１９』の方法で撮影領域を判定し、所定のしきい値を用いてノイズ領域を除去する。
【００２１】
（方法３）
この方法では、フレーム数との関係を見て撮影領域を予測する。
例えば動画撮影中に何らかの原因でカメラの向きや方向が意図しない方向にずれてしまうことがあるが、このような領域を撮影対象領域から除外するため、又は時間をかけて撮影されたデータを保護するために、方法１で判定される撮影領域に対して、ある大きさのウィンドウごとに、その領域を撮影しているフレームの数をカウントし、フレーム数がある所定の値（しきい値）よりも小さくなる場合は、その領域を撮影領域から除外する。具体的には、撮影領域内を左上から右下へウィンドウを走査させ、各位置においてウィンドウ領域と画像領域を有するフレームをカウントする。ある位置におけるカウント数が所定のしきい値よりも小さい場合、画像領域がウィンドウ内に完全に含まれるフレームを除外候補とする。走査終了後、除外候補となったフレームを除外する。
この方法によれば、撮影中にユーザーの誤操作で意図しない領域を撮影してしまうケースがあった場合に、そのような撮影領域を検出し、パノラマ画像の生成に関与しない画像データを保持しないようにすることができる。又、動画像の場合、ある特定の領域を時間をかけて撮影する場合があるが、このような場合、エリアは小さいが、ユーザーにとっては重要な撮影データである可能性が高い。この事を考慮して、撮影領域の面積だけでなく、その撮影領域に対応するフレームの数から重要度を判定することで、ユーザーの大切なデータが失われないように保護することができる。
【００２２】
撮影領域を判定するための方法は、カメラ撮影時の状況、ユーザーの嗜好などを総合的に判断して、上記何れかの方法でカメラに収めたいと欲する領域を判定する。
【００２３】
次に、パノラマ・プレビューで表示されるパノラマイメージについて説明する。
パノラマイメージとは、撮影したフレーム画像から、適当な画像を選択し、それらを相互の位置関係に従って配置したイメージであり、撮影によって得られたいくつかの画像を、撮影対象領域における位置関係を崩さないように配置したものを一覧に表示したものである。これをパノラマ・プレビュー画面としてユーザーに提示することで、ユーザーは自分の撮影した部分画像系列でパノラマ画像を生成した場合のイメージを簡単に把握することができる。つまり、例えば、高層ビルの屋上から見える街並を、ビデオカメラを水平方向に動かしながら撮影した場合、パノラマ・プレビューでは、それら一連の画像の左右の距離感、相対位置を保持して配置し表示する。これによりユーザーは、パノラマ画像の生成に必要な画像が撮影されているか、不備がある場合、例えば建築物の並びなどを手がかりにどの領域を撮影し直すべきかを簡単に確認することができる。
【００２４】
ここで、パノラマイメージ用の画像の選定方法について説明する。
最も基本的な方法を図５のフローチャートを用いて説明する。
まず撮影によって得られる部分画像系列を取得即ち入力し（Ｓ２０１）、各部分画像の位置関係を示すデータを参照して各部分画像をその始点座標で左上から順にソートする（Ｓ２０２）。続いて、ソート順に入力し（Ｓ２０３）、各画像の画像領域データを参照して、ソート順で１つ前の選定画像との撮影領域に関する重複度を算出する（Ｓ２０４）。ここで、算出した値が所定のしきい値以下であるかを判定し（Ｓ２０５）、判定がしきい値以下であれば（Ｓ２０５、ＹＥＳ）、選定画像として採用し（Ｓ２０６）、判定がしきい値を越えていれば選定画像には採用しない。次に全ての部分画像について判定処理が終了したか否かを判断し（Ｓ２０７）、判定がＹｅｓであれば（Ｓ２０７、ＹＥＳ）は処理を終了し、Ｎｏであれば（Ｓ２０７、ＮＯ）、ソート順に入力し次の部分画像についてステップＳ２０４以降の処理を行う。
【００２５】
パノラマプレビュー画像を選出するための方法は、以上説明したものに限られるものではないが、選出される部分画像数に応じて表示にかかる処理負荷も大きくなるため、理想的には、撮影対象領域の概要が分かる程度で、かつ画像数がなるべく少なくなるように選出されることが望ましい。
【００２６】
つまり、プレビュー表示は、表示する画像データのサイズが多くなるに従って表示速度が遅くなる。従って、なるべく少ない画像数でパノラマイメージの概観を伝えることが重要となる。一方、連続撮影の場合、得られる部分画像の撮影対象は重複していることが非常に多い。そこで、本実施形態では、撮影領域の重複が少なくなるように画像データを選択するため、パノラマイメージを保ちつつ処理負荷の低い高速な表示が可能である。
【００２７】
次に、パノラマイメージの生成方法について説明する。
撮影した画像群から生成されるパノラマ画像のイメージを把握するために、上記の手法で選択された画像データを撮影対象に関する相対位置関係を保ちながら配置して表示する必要がある。また、撮影時にはズーム機能を利用すると対象を様々な倍率で捉えることができるが、プレビュー時の視認性を考慮すると、各画像を異なる倍率で表示するよりも、同じ倍率で表示する方が好ましい。
【００２８】
そこで、選択画像を、その相対位置関係を保ちながら一覧で配置し、かつ先頭のフレームを基準フレームとして全ての画像を同じ倍率で表示するパノラマイメージ生成方法について図６を用いて説明する。
まずパノラマイメージ用に選択された部分画像を入力し（Ｓ３０１）、ここで、入力した部分画像が先頭フレームであれば（Ｓ３０２、ＹＥＳ）、その部分画像の撮影領域に関するデータつまり位置データから撮影時の倍率を算出する（Ｓ３０３）。ここでは、算出された倍率を基本倍率として、以後の部分画像について、画像領域データと基本倍率情報に基づいて表示サイズを決定する（Ｓ３０４）。
ステップＳ３０２において、部分画像が先頭フレームでなければ（Ｓ３０２、ＮＯ）、ステップＳ３０３の表示倍率の算出は行わない。その後、全ての部分画像について処理が終了したかを判定し（Ｓ３０５）、終了していなければ（Ｓ３０５、ＮＯ）、次の部分画像に対して処理はステップＳ３０３に戻る。終了していれば（Ｓ３０５、ＹＥＳ）、表示用に選別された部分画像を撮影時の位置関係に基づいて配置し、ステップＳ１０１〜ステップＳ１０４で決定されたサイズで各部分画像を一覧表示したパノラマイメージを生成する。
【００２９】
ビデオ撮影の場合、撮影中にズームイン、ズームアウトを行う場合が想定されるが、撮影対象領域における位置関係を崩さないように配置したものを一覧に表示したパノラマ・プレビュー画面において、撮影時の倍率の異なる画像データが混在して配置されていると視認性が低下するが、本実施形態では、被写体に対する倍率を一定にした画像データを一覧で表示することで、パノラマ・イメージの視認性の低下を防ぐことができる。
【００３０】
以上、第１の実施例について説明したが、デジタルカメラ、もしくはデジタルビデオカメラなどを利用して撮影した複数の静止画、又は動画をＰＣ（パーソナルコンピュータ）上で加工し、パノラマ画像を作成することができる。パノラマ写真の元となる写真の撮影は、その撮影対象により難易度が異なり、明るい日の山頂などは比較的容易に撮影できるが、込み入ったビル街、物であふれた地下倉庫などの撮影は難易度が高く、例えばパノラマ雲台や三脚が必要とされる可能性が高い。これらの写真を撮影後、通常は、ソフトを利用して写真の接合を行うが、上述のように機材を用いた撮影を行ったとしても、撮影時に必要な画像データが確実に撮影されているか確認する手段がないため、撮影画像の不備に後になって気が付くということが起こり得る。しかし、本実施形態に係る撮影装置では、連続撮影によって得られた画像系列の位置関係、及び撮影領域などを判定してパノラマ・イメージを作成し、パノラマプレビューとしてユーザーに提示することができる。ここでパノラマ・イメージは、撮影された部分画像系列から複数の画像を選択し、パノラマ生成時の概観を把握可能であるように適当に前記複数の画像を配した表示用のイメージであり、本来のパノラマ画像生成に必要な接合画像間の重なり部の濃度平滑化などの処理は行わない。これにより、ユーザーはパノラマ画像生成に必要な画像が撮影されているかを簡単に確認できる。
【００３１】
（第２の実施例）
次に、本願発明の第２の実施例について説明する。
撮影対象とする領域内に撮影されていない空白領域が存在すると、撮影画像の接合だけではパノラマ画像を作成することができない。しかし、一方で、撮影対象領域をくまなく撮影することは難しい。そのため後になって撮影の不備に気付く危険性がある。特に、主要なオブジェクトの領域に欠損がある場合、致命的である。
そこで、パノラマ・プレビュー上で未撮影領域を確認できる表示画像を提供し、そこでパノラマ・プレビュー上に表示されるパノラマイメージで未撮影領域を明示し、撮影時にユーザーの判断で、その領域を撮影し直すなどの対応ができるようにすることが望まれている。
【００３２】
ここでは、未撮影領域を提示するパノラマ・プレビュー表示について説明する。特に、補間できる程度の小さな未撮影領域は無視してよい、との考えで検出された未撮影領域の面積に基づいて未撮影領域を特定する未撮影領域の検出方法について説明する。
【００３３】
未撮影領域の検出方法
図７、図８は、空白領域である未撮影領域を空白領域の検出方法の処理手順を示すフローチャートである。
図７は、未撮影領域の大きさを表す値としてそのウィンドウを撮影領域として含む部分画像の数を算出し、未撮影領域候補をデータとして記憶するまでの手順を示すフローチャートである。
即ち、まず、始めに全撮影領域内で十分小さいサイズのウィンドウ（例えば撮影したデータの１画素分）について、そのウィンドウを撮影領域として含む部分画像の数をカウントする（Ｓ４０１）。続いて、撮影領域内で、カウント数が連続して０となる領域の面積を算出する（Ｓ４０２）。各領域と面積の情報を未撮影候補データとして記憶する（Ｓ４０３）。
【００３４】
図８は、各未撮影領域候補について、その大きさを表す値としてその面積を算出し、その面積がある所定の値以下となる候補を、未撮影領域と判定するための手順を示すフローチャートである。
即ち、まず、面積がある所定の値以下となる候補データを入力し（Ｓ５０１）、その面積が、指定された面積（Ｔｈ）より大となるかを判定し（Ｓ５０２）、その面積が、指定された面積（Ｔｈ）より大であれば（Ｓ５０２、ＹＥＳ）、その領域を未撮影領域として検出し（Ｓ５０３）、指定された面積（Ｔｈ）以下であれば（Ｓ５０２、ＮＯ）検出しない。続いて、全ての候補について判定が終了したか否かを判定し（Ｓ５０４）、終了していなければ（Ｓ５０４、ＮＯ）次の候補データを入力し（Ｓ５０１）、終了していれば（Ｓ５０３、ＹＥＳ）この処理を終了する。
【００３５】
未撮影領域は上述のように、その範囲を撮影したフレーム数が０である場合と定義してもよいが、ある所定のしきい値を設けて、フレーム数の少ない領域は未撮影領域として検出するようにしてもよい。
即ち、パノラマ画像として表現したい領域の画像データが十分に撮影されている場合、画像の接合によってパノラマ画像を作成することができる。そこで、上記の処理を通じて検出される未撮影領域が存在しない場合には、パノラマ・プレビューを作成しない仕組みとしてもよい。
【００３６】
図９は未撮影領域をビュー上で提示した表示ＵＩ（ユーザーインターフェース）での表示例を示す図である。図９において、左側のイメージ（図９Ａ）が撮影対象の画像であり、右側のイメージ（図９Ｂ）がパノラマビューで表示される画像を示している。図中で空白領域は、未撮影領域を表しており、ユーザーはこの表示から、未撮影領域の範囲を見極めて必要に応じて再度撮影を行う。
【００３７】
本実施形態では、パノラマ・プレビュー上に表示されるパノラマイメージで未撮影領域を明示し、撮影時にユーザーの判断で、その領域を撮影し直すなどの対応ができるようにすることができる。
【００３８】
なお、撮影領域内に空白領域が無い場合、ある程度の精度で部分画像系列からパノラマ画像は再現される。そこで、撮影対象の領域が全て撮影済みである場合、あるいは、大きな空白領域が存在しない場合などにはパノラマイメージの作成を行わず、必要性の低いパノラマイメージを作成しない事で無駄な処理を省略することもできる。
【００３９】
（第３の実施例）
パノラマ画像の撮影では、時間の変化を感じさせないことが重要な場合がある。しかしながら、通常の撮影では、例えば移動する車や鳥など、意図しない移動物体が部分画像に紛れ込む可能性が高く、このようなデータを基にパノラマ画像を作成すると、複数の場所に同一の鳥や車が存在するなど、不自然な画像になりかねない。撮影中の動物体検知は、パノラマ・プレビュー表示でも見落としてしまう可能性が高いため、ここでは、移動物体が写り込んでしまった場合にそれを検知し、パノラマイメージ用の部分画像としては採用しないようにすることにより、移動物体混入によるパノラマ画像撮影の不備を効果的にユーザーに提示する方法について説明する。
【００４０】
（移動物体の検知方法）
動画像から移動物体を検知する方法としては、既存の技術を利用することができる。
例えば、特許文献５には、背景変化の存在する動画像から、変化する背景を検出せず、静止・移動する対象物体を検出する技術が開示されており、これを用いると、動画像の各フレームの中で移動物体を含むフレームを判定し、パノラマプレビュー用画像からは除外することが可能となる。
【００４１】
図１０は、移動物体検知結果を反映した表示用画像選択方法の実行手順を示すフローチャートである。
即ち、まず撮影によって得られる部分画像系列を取得即ち入力し（Ｓ６０１）、前記画像データが移動物体を含むか否かを例えば上記方法で判定する（Ｓ６０２）。前記画像データが移動物体を含む場合は（Ｓ６０２、ＹＥＳ）、前記部分画像データを表示用画像候補として検出する（Ｓ６０３）。前記画像データが移動物体を含まない場合は（Ｓ６０２、ＮＯ）、表示用画像としては採用しない。
続いて、表示用画像データの候補について、実施例１に記述したような処理フローに従って重複度を考慮しながら表示用画像データを選択していくことができる。全ての部分画像を判定したときは（Ｓ６０４、ＹＥＳ）、処理を終了する。
【００４２】
本実施形態によれば、移動物体が写り込んでしまった場合に、それを検知し、パノラマイメージ用の部分画像としては採用しないことにより、移動物体の混入によるパノラマ画像撮影の不備を効果的にユーザーに知らせることができる。
【００４３】
（実施例４）
連続撮影によって得られた部分画像系列を利用して、近隣フレームの複数画像によって画素補間を行い、実際の解像度よりも高解像度の画像を得る超解像技術があるが、これには撮影領域に対して十分な数のフレームが必要である。しかし、ユーザーが手動で広範囲な領域を撮影する場合、フレーム数を考慮して撮影することは困難であり、結果的に、領域に対するフレームの密度が非常に少ない領域が発生することが考えられる。特に、撮影領域内に主要なオブジェクトが存在している場合など、特定の領域は正確に、かつ高画質に再現したい場合などがあるが、このような場合も、フレーム数の少ない領域を簡単に確認できる機能があることが望ましい。
【００４４】
そこで、本実施例では、高品質なパノラマ画像をより確実に生成するために、パノラマ・プレビュー画面上でフレーム数の少ない領域をユーザーに提示する。
次に、高品質なパノラマ画像をより確実に生成するために、パノラマ・プレビュー画面上でフレーム数の少ない領域をユーザーに提示する方法について図１１のフローチャートを用いて説明する。
即ち、始めに全撮影領域内で所定サイズのウィンドウを動かし、そのウィンドウを撮影領域として含む部分画像の数をカウントする（Ｓ７０１）。その後、カウント数がしきい値よりも小さいか否かを判定し（Ｓ７０２）、カウント数がしきい値よりも小さくなければ（Ｓ７０２、ＮＯ）、次の領域へウィンドウを動かす。カウント数がしきい値よりも小さければ（Ｓ７０２、ＹＥＳ）、その領域範囲をデータ（領域データ）として保存する（Ｓ７０３）。パノラマ・プレビュー表示では、前述の領域をフレーム数の少ない領域を特徴付けて（色を付けるなどして）表示する。異なるクラスの全ての事例データを比較したときは（Ｓ７０５、ＹＥＳ）この処理を終了する。
表示方法としては、上述のようにフレーム数の少ない領域のみを提示してもよいし、フレーム数の範囲によって色づけするなどの方法で、全撮影領域における各領域のフレーム数を特徴付けた表示を行ってもよい。
【符号の説明】
【００４５】
１００・・・撮影ユニット、１０１・・・撮影レンズ、１０２・・・シャッタ、１０４・・・撮像素子、１０５・・・光学系駆動部、１０６・・・撮像素子駆動部、１０７・・・画像処理ユニット、１０８・・・画像表示部、１０９・・・・画像バッファ用メモリ、１１０・・・画像記録部、１１１・・・プログラムメモリ、１１２・・・操作部。
【先行技術文献】
【特許文献】
【００４６】
【特許文献１】特開２００２−１７０１１１号公報
【特許文献２】特開２００８−１０４１７９号公報
【特許文献３】ＷＯ２００６／００４０４３号公報
【特許文献４】特開２００５−３４８４４７号公報
【特許文献５】特開２００７−３２３５７２号公報
【００４７】
【非特許文献１】“Dynamosaicing: Mosaicing of Dynamic Scenes”IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.29,No.10、pp.1789-1801、102007。
【図１】
2010204773.tif 000003
【図２】
2010204773.tif 000004
【図３】
2010204773.tif 000005
【図４】
2010204773.tif 000006
【図５】
2010204773.tif 000007
【図６】
2010204773.tif 000008
【図７】
2010204773.tif 000009
【図８】
2010204773.tif 000010
【図９】
2010204773.tif 000011
【図１０】
2010204773.tif 000012
【図１１】
2010204773.tif 000013