(57)【要約】【課題】パノラマ撮影を簡単且つ高精度で行うことが可能な撮像装置を提供。【解決手段】表示部２３と、被写体を撮影して撮像信号を出力する固体撮像素子５と、パノラマ撮影モード時、撮影指示による撮影によって固体撮像素子５から出力された撮像信号からパノラマ画像データ生成用の第一の画像データを生成する機能、パノラマ撮影モード時、固体撮像素子５から出力された撮像信号から表示部２３に表示させるスルー画像用の第二の画像データを生成する機能、及び撮影指示による撮影によって固体撮像素子５から出力された撮像信号から第二の画像データと同じ形式の第三の画像データを生成する機能を有するデジタル信号処理部１７と、該撮影指示によって生成された第三の画像データの端部に設定される第一領域内のデータと、該撮影指示による撮影の後に生成された第二の画像データの端部に設定される第二領域内のデータとの相関度を検出する相関度検出部２６とを備える。【選択図】図１
2009124340.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影画像データからこれらを合成したパノラマ画像データを生成して記録するパノラマ撮影モードを有する撮像装置であって、
表示手段と、
被写体を撮影して撮像信号を出力する撮像手段と、
前記パノラマ撮影モード時、撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記パノラマ画像データ生成用の第一の画像データを生成する第一の画像データ生成手段と、
前記パノラマ撮影モード時、前記撮影指示による撮影以外の撮影によって前記撮像手段から出力された撮像信号から前記表示手段に表示させるスルー画像用の第二の画像データを生成する第二の画像データ生成手段と、
撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記第二の画像データと同じ形式の第三の画像データを生成する第三の画像データ生成手段と、
前記第三の画像データの端部に設定される第一領域内のデータと、前記撮影指示による撮影の後に前記第二の画像データ生成手段によって生成された前記第二の画像データの前記第三の画像データの端部とは反対側の端部に設定される第二領域内のデータとの相関度を検出する相関度検出手段とを備える撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記相関度検出手段による相関度の検出結果を前記表示手段に表示させる表示制御手段を備える撮像装置。
【請求項３】
請求項１記載の撮像装置であって、
前記相関度検出手段によって検出された相関度が閾値以上となる期間が所定期間続いた場合、前記撮像手段が自動的に被写体を撮像する撮像装置。
【請求項４】
請求項１〜３のいずれか１項記載の撮像装置であって、
前記撮像信号から生成された画像データから人物の顔を検出する顔検出手段を備え、
前記顔検出手段により前記第一領域から顔が検出された場合、前記相関度検出手段は、前記第三の画像データのうち前記顔が含まれない領域に前記第一領域を再設定して前記相関度の検出を行う撮像装置。
【請求項５】
請求項１〜３のいずれか１項記載の撮像装置であって、
前記撮像信号から生成された画像データから人物の顔を検出する顔検出手段を備え、
前記撮影指示がなされる直前に生成された前記第二の画像データから前記顔検出手段により顔が検出された場合、前記撮像手段は、該撮影指示に応じて、該顔に焦点を合わせた第一の撮像と、該顔の背景に焦点を合わせた第二の撮像とを行い、
前記相関度検出手段は、前記第一の撮像と前記第二の撮像が行われた場合、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第三の画像データを、前記相関度を検出するために用いる画像データとし、
前記第一の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データと、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データとを用いて前記顔と前記背景の両方に焦点のあった前記パノラマ画像データ生成用の画像データを生成する画像データ生成手段を備える撮像装置。
【請求項６】
請求項１〜３のいずれか１項記載の撮像装置であって、
前記撮像信号から生成された画像データから動体を検出する動体検出手段を備え、
前記相関度検出手段は、前記第一領域内から特徴点を抽出し、前記特徴点と前記第二領域内のデータとを比較して前記相関度を求めるものであり、
前記動体検出手段により前記第一領域から動体が検出された場合、前記相関度検出手段は、前記動体を除く部分から前記特徴点を抽出する撮像装置。
【請求項７】
請求項１〜５のいずれか１項記載の撮像装置であって、
前記撮像信号から生成された画像データから動体を検出する動体検出手段と、
前記第二の画像データの前記第一領域と同じ領域から前記動体検出手段により動体が検出された場合に、警告を行う警告手段とを備える撮像装置。
【請求項８】
請求項６記載の撮像装置であって、
前記第二の画像データの前記第一領域と同じ領域から前記動体検出手段により動体が検出された場合に、警告を行う警告手段を備える撮像装置。
【請求項９】
表示手段と、被写体を撮影して撮像信号を出力する撮像手段と、複数の撮影画像データからこれらを合成したパノラマ画像データを生成して記録するパノラマ撮影モードとを有する撮像装置における前記パノラマ撮影モードでの撮影を支援する撮影支援方法であって、
前記パノラマ撮影モード時、撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記パノラマ画像データ生成用の第一の画像データを生成する第一の画像データ生成ステップと、
前記パノラマ撮影モード時、前記撮影指示による撮影以外の撮影によって前記撮像手段から出力された撮像信号から前記表示手段に表示させるスルー画像用の第二の画像データを生成する第二の画像データ生成ステップと、
撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記第二の画像データと同じ形式の第三の画像データを生成する第三の画像データ生成ステップと、
前記第三の画像データの端部に設定される第一領域内のデータと、前記撮影指示による撮影の後に前記第二の画像データ生成ステップによって生成された前記第二の画像データの前記第三の画像データの端部とは反対側の端部に設定される第二領域内のデータとの相関度を検出する相関度検出ステップとを備える撮影支援方法。
【請求項１０】
請求項９記載の撮影支援方法であって、
前記相関度検出ステップでの相関度の検出結果を前記表示手段に表示させる表示制御ステップを備える撮影支援方法。
【請求項１１】
請求項９記載の撮影支援方法であって、
前記相関度検出ステップで検出された相関度が閾値以上となる期間が所定期間続いた場合、前記撮像手段によって被写体を自動的に撮影する撮影支援方法。
【請求項１２】
請求項９〜１１のいずれか１項記載の撮影支援方法であって、
前記撮像信号から生成された画像データから人物の顔を検出する顔検出ステップを備え、
前記第一領域から顔が検出された場合、前記相関度検出ステップでは、前記第三の画像データのうち前記顔が含まれない領域に前記第一領域を再設定して前記相関度の検出を行う撮影支援方法。
【請求項１３】
請求項９〜１１のいずれか１項記載の撮影支援方法であって、
前記撮像信号から生成された画像データから人物の顔を検出する顔検出ステップを備え、
前記撮影指示がなされる直前に生成された前記第二の画像データから顔が検出された場合、該撮影指示に応じて、該顔に焦点を合わせた第一の撮像と、該顔の背景に焦点を合わせた第二の撮像とを前記撮像手段に行わせる制御ステップを備え、
前記相関度検出ステップでは、前記第一の撮像と前記第二の撮像が行われた場合、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第三の画像データを、前記相関度を検出するために用いる画像データとし、
前記第一の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データと、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データとを用いて前記顔と前記背景の両方に焦点のあった前記パノラマ画像データ生成用の画像データを生成する画像データ生成ステップを備える撮影支援方法。
【請求項１４】
請求項９〜１１のいずれか１項記載の撮影支援方法であって、
前記撮像信号から生成された画像データから動体を検出する動体検出ステップを備え、
前記相関度検出ステップは、前記第一領域内から特徴点を抽出し、前記特徴点と前記第二領域内のデータとを比較して前記相関度を求めるものであり、
前記第一領域から動体が検出された場合、前記相関度検出ステップでは、前記動体を除く部分から前記特徴点を抽出する撮影支援方法。
【請求項１５】
請求項９〜１３のいずれか１項記載の撮影支援方法であって、
前記撮像信号から生成された画像データから動体を検出する動体検出ステップと、
前記第二の画像データの前記第一領域と同じ領域から動体が検出された場合に、警告を行う警告ステップとを備える撮影支援方法。
【請求項１６】
請求項１４記載の撮影支援方法であって、
前記第二の画像データの前記第一領域と同じ領域から動体が検出された場合に、警告を行う警告ステップを備える撮影支援方法。
【請求項１７】
請求項９〜１６のいずれか１項記載の撮影支援方法の各ステップをコンピュータに実行させるための撮影支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像データからこれらを合成したパノラマ画像データを生成して記録するパノラマ撮影モードを有する撮像装置に関する。
【背景技術】
【０００２】
パノラマ画像は、或る一定間隔の各位置毎若しくは一定角度毎に画像を撮影し、それら撮影により得られた複数の画像の重なる部分をだぶらせながら合成することにより作成されている。このため、パノラマ画像に使用される複数の画像を撮影する場合には、或る撮影範囲の画像を撮影した後、その隣の撮影範囲の画像を撮影する際に、既に撮影済みの画像とその次の撮影範囲との重なり具合を確認しながら撮影を行う必要がある。
【０００３】
しかしながら、上述のように各々適度な重なりを持つ複数の画像を撮影するのは実際には非常に難しい作業となる。例えば、上記複数の画像を撮影するためには、撮影範囲内で目標となる物体等を決め、その目標物を液晶画面内のどの位置にもってくれば上記横方向に適度な重なりを持つ画像を撮影できるかを判断した上で、その目標物を基準にして撮影を行うことになる。しかし、例えば撮影範囲内に目標にできる物体等がないような場合には、上述のような重なりを持つ画像の撮影自体が困難となる。また、パノラマ画像に使用する複数の画像を撮影する際には、上述したような画像の水平方向（左右方向）の重なりのみならず、垂直方向（上下方向）の画像のズレについても注意を払わなければならない。
【０００４】
パノラマ撮影を良好に行うための支援を行う方法として、画像データ間の移動量を物理的なセンサにより検出して撮影タイミングを決定する方法（特許文献１）が提案されている。
【０００５】
【特許文献１】特開２００６−２１７４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の方法では、移動量の検出を画像データではなくセンサによって行っているため、その検出精度が悪く、ユーザの意図したパノラマ画像を得られない可能性がある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、パノラマ撮影を簡単且つ高精度で行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、複数の撮影画像データからこれらを合成したパノラマ画像データを生成して記録するパノラマ撮影モードを有する撮像装置であって、表示手段と、被写体を撮影して撮像信号を出力する撮像手段と、前記パノラマ撮影モード時、撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記パノラマ画像データ生成用の第一の画像データを生成する第一の画像データ生成手段と、前記パノラマ撮影モード時、前記撮影指示による撮影以外の撮影によって前記撮像手段から出力された撮像信号から前記表示手段に表示させるスルー画像用の第二の画像データを生成する第二の画像データ生成手段と、撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記第二の画像データと同じ形式の第三の画像データを生成する第三の画像データ生成手段と、前記第三の画像データの端部に設定される第一領域内のデータと、前記撮影指示による撮影の後に前記第二の画像データ生成手段によって生成された前記第二の画像データの前記第三の画像データの端部とは反対側の端部に設定される第二領域内のデータとの相関度を検出する相関度検出手段とを備える。
【０００９】
本発明の撮像装置は、前記相関度検出手段による相関度の検出結果を前記表示手段に表示させる表示制御手段を備える。
【００１０】
本発明の撮像装置は、前記相関度検出手段によって検出された相関度が閾値以上となる期間が所定期間続いた場合、前記撮像手段が自動的に被写体を撮像する。
【００１１】
本発明の撮像装置は、前記撮像信号から生成された画像データから人物の顔を検出する顔検出手段を備え、前記顔検出手段により前記第一領域から顔が検出された場合、前記相関度検出手段は、前記第三の画像データのうち前記顔が含まれない領域に前記第一領域を再設定して前記相関度の検出を行う。
【００１２】
本発明の撮像装置は、前記撮像信号から生成された画像データから人物の顔を検出する顔検出手段を備え、前記撮影指示がなされる直前に生成された前記第二の画像データから前記顔検出手段により顔が検出された場合、前記撮像手段は、該撮影指示に応じて、該顔に焦点を合わせた第一の撮像と、該顔の背景に焦点を合わせた第二の撮像とを行い、前記相関度検出手段は、前記第一の撮像と前記第二の撮像が行われた場合、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第三の画像データを、前記相関度を検出するために用いる画像データとし、前記第一の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データと、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データとを用いて前記顔と前記背景の両方に焦点のあった前記パノラマ画像データ生成用の画像データを生成する画像データ生成手段を備える。
【００１３】
本発明の撮像装置は、前記撮像信号から生成された画像データから動体を検出する動体検出手段を備え、前記相関度検出手段は、前記第一領域内から特徴点を抽出し、前記特徴点と前記第二領域内のデータとを比較して前記相関度を求めるものであり、前記動体検出手段により前記第一領域から動体が検出された場合、前記相関度検出手段は、前記動体を除く部分から前記特徴点を抽出する。
【００１４】
本発明の撮像装置は、前記第二の画像データの前記第一領域と同じ領域から前記動体検出手段により動体が検出された場合に、警告を行う警告手段を備える。
【００１５】
本発明の撮影支援方法は、表示手段と、被写体を撮影して撮像信号を出力する撮像手段と、複数の撮影画像データからこれらを合成したパノラマ画像データを生成して記録するパノラマ撮影モードとを有する撮像装置における前記パノラマ撮影モードでの撮影を支援する撮影支援方法であって、前記パノラマ撮影モード時、撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記パノラマ画像データ生成用の第一の画像データを生成する第一の画像データ生成ステップと、前記パノラマ撮影モード時、前記撮影指示による撮影以外の撮影によって前記撮像手段から出力された撮像信号から前記表示手段に表示させるスルー画像用の第二の画像データを生成する第二の画像データ生成ステップと、撮影指示による撮影によって前記撮像手段から出力された撮像信号から前記第二の画像データと同じ形式の第三の画像データを生成する第三の画像データ生成ステップと、前記第三の画像データの端部に設定される第一領域内のデータと、前記撮影指示による撮影の後に前記第二の画像データ生成ステップによって生成された前記第二の画像データの前記第三の画像データの端部とは反対側の端部に設定される第二領域内のデータとの相関度を検出する相関度検出ステップとを備える。
【００１６】
本発明の撮影支援方法は、前記相関度検出ステップでの相関度の検出結果を前記表示手段に表示させる表示制御ステップを備える。
【００１７】
本発明の撮影支援方法は、前記相関度検出ステップで検出された相関度が閾値以上となる期間が所定期間続いた場合、前記撮像手段によって被写体を自動的に撮影する。
【００１８】
本発明の撮影支援方法は、前記撮像信号から生成された画像データから人物の顔を検出する顔検出ステップを備え、前記第一領域から顔が検出された場合、前記相関度検出ステップでは、前記第三の画像データのうち前記顔が含まれない領域に前記第一領域を再設定して前記相関度の検出を行う。
【００１９】
本発明の撮影支援方法は、前記撮像信号から生成された画像データから人物の顔を検出する顔検出ステップを備え、前記撮影指示がなされる直前に生成された前記第二の画像データから顔が検出された場合、該撮影指示に応じて、該顔に焦点を合わせた第一の撮像と、該顔の背景に焦点を合わせた第二の撮像とを前記撮像手段に行わせる制御ステップを備え、前記相関度検出ステップでは、前記第一の撮像と前記第二の撮像が行われた場合、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第三の画像データを、前記相関度を検出するために用いる画像データとし、前記第一の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データと、前記第二の撮像によって前記撮像手段から出力された撮像信号から生成された前記第一の画像データとを用いて前記顔と前記背景の両方に焦点のあった前記パノラマ画像データ生成用の画像データを生成する画像データ生成ステップを備える。
【００２０】
本発明の撮影支援方法は、前記撮像信号から生成された画像データから動体を検出する動体検出ステップを備え、前記相関度検出ステップは、前記第一領域内から特徴点を抽出し、前記特徴点と前記第二領域内のデータとを比較して前記相関度を求めるものであり、前記第一領域から動体が検出された場合、前記相関度検出ステップでは、前記動体を除く部分から前記特徴点を抽出する。
【００２１】
本発明の撮影支援方法は、前記撮像信号から生成された画像データから動体を検出する動体検出ステップと、前記第二の画像データの前記第一領域と同じ領域から動体が検出された場合に、警告を行う警告ステップとを備える。
【００２２】
本発明の撮影支援方法は、前記第二の画像データの前記第一領域と同じ領域から動体が検出された場合に、警告を行う警告ステップを備える。
【００２３】
本発明の撮影支援プログラムは、前記撮影支援方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２４】
本発明によれば、パノラマ撮影を簡単且つ高精度で行うことが可能な撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態について図面を参照して説明する。
【００２６】
（第一実施形態）
図１は、本発明の第一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図である。本実施形態のデジタルカメラは、複数の撮影画像データからこれらを合成したパノラマ画像データを生成して記録するパノラマ撮影モードを有する。
図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤ（Charge Coupled Device）型イメージセンサ等の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。撮影レンズ１、絞り２、赤外線カットフィルタ３と、光学ローパスフィルタ４、及び固体撮像素子５は、被写体を撮影して撮像信号を出力する撮像手段を構成する。
【００２７】
デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御し、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。
【００２８】
又、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体画像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号（撮影指示信号を含む）が入力される。
【００２９】
デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
【００３０】
更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、固体撮像素子５から出力された撮像信号に補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、パノラマ画像データを生成するパノラマ画像生成部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示手段である液晶等の表示部２３が接続される表示制御部２２と、相関度検出部２６とを備え、これらは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００３１】
デジタル信号処理部１７は、パノラマ撮影モード時、操作部１４で行われる撮影指示に応じた撮影によって固体撮像素子５から出力された撮像信号からパノラマ画像データ生成用の第一の画像データを生成する第一の画像データ生成機能と、パノラマ撮影モード時、撮影指示以外の撮影（スルー画像取得用の撮影）によって固体撮像素子５から出力された撮像信号から表示部２３に表示させるスルー画像用の第二の画像データを生成する第二の画像データ生成機能と、撮影指示に応じた撮影によって固体撮像素子５から出力された撮像信号から第二の画像データと同じ形式の第三の画像データ（第二の画像データを生成する際の信号処理と同じ信号処理を撮像信号に施して得られる画像データ）を生成する第三の画像データ生成機能とを有する。
【００３２】
パノラマ画像生成部１９は、デジタル信号処理部１７で生成された複数の第一の画像データを、各々の端部同士を重ね合わせて合成して、１つのパノラマ画像データを生成し、生成したパノラマ画像データを、外部メモリ制御部２０を介して記録媒体２１に記録する。
【００３３】
相関度検出部２６は、撮影指示によって生成された第三の画像データの端部に設定される第一領域内のデータと、該撮影指示による撮影の後に生成された第二の画像データの該第三の画像データの端部とは反対側の端部に設定される該第一領域と同じ大きさの第二領域内のデータとの相関度を検出する。具体的には、第一領域内の画像データから特徴点（物体のエッジや角部等）を抽出し、抽出した特徴点が、第二領域内に存在するか否かを判定する。抽出した特徴点が第二領域内にあれば、第二領域内の特徴点の位置と第一領域内の特徴点の位置とがどれだけずれているかを検出し、位置の一致度合いに応じて、相関度を検出する。例えば、第一領域内の特徴点と第二領域内の特徴点との座標が完全に一致したときの相関度を最大とし、２つの特徴点の座標ずれが大きい程、相関度を低くする。
【００３４】
相関度検出部２６は、検出した相関度を、表示制御部２２を介して表示部２３に表示中のスルー画像上に表示させる。
【００３５】
次に、上述したデジタルカメラのパノラマ撮影モード時の動作について説明する。
図２は、第一実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャートである。図３は、第一実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図である。図４は、第一実施形態のデジタルカメラのパノラマ撮影モード時に表示部２３に表示される画面例を示した図である。尚、以下の説明では、パノラマ画像生成部１９が、第一の画像データをｎ（ｎは２以上の自然数）枚重ね合わせることで、パノラマ画像データを生成するものとして説明する。
【００３６】
操作部１４に含まれるレリーズボタンが全押しされて撮影指示がなれると（ステップＳ１：ＹＥＳ）、システム制御部１１が撮像素子駆動部１０を制御して、固体撮像素子５により被写体を撮影する（ステップＳ２）。
【００３７】
ステップＳ２の撮影が、パノラマ撮影モードに設定されてからｎ回目の撮影でなかった場合（ステップＳ３：ＮＯ）、デジタル信号処理部１７は、ステップＳ２の撮影で固体撮像素子５から出力された撮像信号からパノラマ画像データ生成用の第一の画像データと、第三の画像データとを生成し（ステップＳ４）、これらをメインメモリ１６に一時的に記憶する。
【００３８】
次に、デジタル信号処理部１７は、ステップＳ２の撮影の後に固体撮像素子５から出力されてくる撮像信号から第二の画像データ（表示部２３に表示させるスルー画像用の画像データ）を生成し（ステップＳ５）、生成した第二の画像データに基づく画像を、表示制御部２２を介して表示部２３にスルー画像として表示させる。
【００３９】
次に、デジタル信号処理部１７は、ステップＳ４で生成した第三の画像データの端部（例えば図３に示したように右端）に第一領域を設定し、ステップＳ５で生成した第二の画像データの、該第三の画像データの端部とは反対側の端部（図３に示したように左端）に第一領域と同じ大きさの第二領域を設定し、第一領域内のデータと第二領域内のデータとの相関度を検出する。
【００４０】
デジタル信号処理部１７は、例えば、第一領域よりも内側のエリアから特徴点を抽出し、抽出した特徴点を第二領域内で探索する。特徴点の探索範囲は、第二領域よりも内側の所定の範囲内とする。該所定の範囲内に特徴点が存在していた場合には、その特徴点の第二領域内における位置座標と、その特徴点の第一領域内における位置座標とを比較することで、第一領域内のデータと第二領域内のデータとの相関度を検出する（ステップＳ６）。
【００４１】
次に、デジタル信号処理部１７は、表示部２３に表示させているステップＳ５で生成した第二の画像データに基づくスルー画像に、ステップＳ６で検出した相関度の情報を合成して表示させる（ステップＳ７）。例えば図４に示すように、スルー画像上に黒いバーを表示させ、このバーの数で相関度の大小を表現する。
【００４２】
ステップＳ５〜Ｓ７の処理は撮影指示がなされるまで繰り返し行われ、ステップＳ８で撮影指示があると、ステップＳ２へと処理を移行する。
【００４３】
ステップＳ２の撮影が、パノラマ撮影モードに設定されてからｎ回目の撮影であった場合（ステップＳ３：ＹＥＳ）、デジタル信号処理部１７は、ステップＳ２の撮影で固体撮像素子５から出力された撮像信号からパノラマ画像データ生成用の第一の画像データを生成し（ステップＳ９）、これをメインメモリ１６に一時的に記憶する。
【００４４】
そして、パノラマ画像生成部１９が、メインメモリ１６に記憶されているｎ個の第一の画像データの各々の端部を重ね合わせる処理を行って、パノラマ画像データを生成し（ステップＳ１０）、パノラマ撮影モードを終了する。
【００４５】
例えば、ｎ＝３とすると、パノラマ画像生成部１９は、１回目の撮影によって得られた第一の画像データの右端に第三領域（第三の画像データに設定した第一領域を第一の画像データのサイズに合わせて拡大したもの）を設定し、２回目の撮影によって得られた第一の画像データの左端に第四領域（第二の画像データに設定した第二領域を第一の画像データのサイズに合わせて拡大したもの）、右端に第三領域を設定し、３回目の撮影によって得られた第一の画像データの左端に第四領域を設定する。そして、１回目の撮影によって得られた第一の画像データの第三領域と、２回目の撮影によって得られた第一の画像データの第四領域とを重ね、２回目の撮影によって得られた第一の画像データの第三領域と、３回目の撮影によって得られた第一の画像データの第四領域とを重ねる処理を行うことで、パノラマ画像データを生成する。
【００４６】
以上のように、本実施形態のデジタルカメラによれば、パノラマ撮影モードに設定した後に撮影指示を行うと、その撮影指示に応じて得られた撮像信号から生成されたスルー画像データと、その撮影指示の後に生成されるスルー画像データとの相関度が検出され、検出された相関度がスルー画像上に表示される。このため、ユーザは、デジタルカメラを動かしながら、この相関度が最大となるポイントを探し、そのポイントで撮影指示を行うことで、直前に撮影した画像と重ね合わせるべき画像を簡単に得ることができる。本実施形態のデジタルカメラは、最適な撮影タイミングがいつなのかを、デジタルカメラの動きを検出するセンサに基づいて知らせるのではなく、画像データを利用して知らせるため、該撮影タイミングの決定精度が高く、パノラマ画像を高精度に作成することが可能となる。
【００４７】
（第二実施形態）
本発明の第二実施形態のデジタルカメラは、第一実施形態のデジタルカメラにおいて、検出された相関度が閾値以上となる期間が所定期間続いたときに、自動的に撮影を行うようにしたものである。第二実施形態のデジタルカメラの構成は図１と同様である。
【００４８】
図５は、第二実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャートである。図５において図２と同様の処理には同一符号を付して説明を省略する。
ステップＳ６で相関度が検出されると、システム制御部１１は、相関度が所定期間（例えばスルー画像の２，３フレーム分が表示される期間）、閾値以上となっているか否かを判定する（ステップＳ１７）。相関度が所定期間閾値以上の値をとっていた場合（ステップＳ１７：ＹＥＳ）、システム制御部１１は、操作部１４からの撮影指示の有無に関わらず、固体撮像素子５により被写体の撮影を実施する（ステップＳ１８）。
【００４９】
以上のように、本実施形態のデジタルカメラによれば、検出された相関度が所定期間高い値を維持した時点で自動的に撮影が行われる。このため、ユーザは、相関度が高い値を維持するポイントにデジタルカメラを移動させるだけで、直前に撮影した画像と重ね合わせるべき画像を得ることができ、パノラマ撮影をより簡単に行うことができる。
【００５０】
（第三実施形態）
図６は、本発明の第三実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図である。
図６に示すデジタルカメラは、図２に示すデジタルカメラに顔検出部２７を追加した構成となっている。
【００５１】
顔検出部２７は、固体撮像素子５から出力される撮像信号から生成された画像データから人物の顔を検出する。顔検出処理は公知のものを利用することができる。
【００５２】
次に、本実施形態のデジタルカメラのパノラマ撮影モード時の動作について説明する。
図７は、第三実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャートである。図８は、第三実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図である。図７において図２と同様の処理には同一符号を付して説明を省略する。
ステップＳ４の後、顔検出部２７は、ステップＳ４で生成された第三の画像データから顔検出処理を行う（ステップＳ２１）。次に、デジタル信号処理部１７は、第三の画像データに設定すべき第一領域に顔が含まれているかどうかを判定し、第一領域に顔が含まれていた場合（ステップＳ２２：ＹＥＳ）、第三の画像データの該顔を除く領域に第一領域を再設定し（ステップＳ２３）、ステップＳ５以降の処理を行う。尚、再設定する第一領域は、第三の画像データの端部になるべく近い部分とする。
【００５３】
第一領域に顔が含まれていなかった場合（ステップＳ２２：ＮＯ）、デジタル信号処理部１７は、ステップＳ５以降の処理を行う。
【００５４】
尚、本実施形態のデジタルカメラのパノラマ画像生成部１９は、ステップＳ１０でパノラマ画像データを生成する際、ステップＳ２３の処理を行った後の撮影で得られた第一の画像データに設定する第三領域については、ステップＳ２３で再設定した第一領域を第一の画像データのサイズに合わせて拡大した領域（即ち、顔を除外した領域）とする点が、第一実施形態とは異なる。つまり、ステップＳ２３の後の撮影で得られた第一の画像データについては、顔が写っている部分で重ね合わせ処理を行わないようにしている。
【００５５】
以上のように、本実施形態のデジタルカメラによれば、人物部分で画像の繋ぎ合せが行われるのを防ぐことができるため、より好感の持てるパノラマ画像を生成することが可能となる。本実施形態においても、図７のステップＳ６の後、相関度が閾値以上となる期間が所定期間続いたときに、自動的に撮影を行うようにすることができる。
【００５６】
（第四実施形態）
本発明の第四実施形態のデジタルカメラの構成は図６と同様である。
【００５７】
図９は、第四実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャートである。図９において図２と同様の処理には同一符号を付して説明を省略する。図１０は、第四実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図である。
パノラマ撮影モードに設定されると、固体撮像素子５からは撮像信号が連続して出力され、デジタル信号処理部１７により第二の画像データが生成されて、この画像データに基づくスルー画像が表示部２３に表示される。ステップＳ１で撮影指示があると、顔検出部２７は、撮影指示がなされる直前にデジタル信号処理部１７で生成されていた第二の画像データから顔検出を行う（ステップＳ３１）。
【００５８】
顔が検出された場合（ステップＳ３２：ＹＥＳ）、システム制御部１１は、レンズ駆動部８及び撮像素子駆動部１０を制御して、被写体の顔に焦点を合わせた第一の撮影と、該顔の背景に焦点を合わせた第二の撮影とを行う（ステップＳ３３）。
【００５９】
次に、デジタル信号処理部１７は、第一の撮影と第二の撮影のそれぞれにより得られた撮像信号から第一の画像データを生成する（ステップＳ３４）。次に、デジタル信号処理部１７は、生成した２つの第一の画像データを用いて、顔と背景とに焦点のあった新たな第一の画像データを生成し（ステップＳ３５）、これをパノラマ画像データ生成用の画像データとしてメインメモリ１６に一時的に記憶する。
【００６０】
新たな第一の画像データの生成方法について説明する。
デジタル信号処理部１７は、第一の撮影により得られた撮像信号から生成した第一の画像データと、第二の撮影により得られた撮像信号から生成した第一の画像データの各々から、各画素データのコントラストを検出する。そして、２つの第一の画像データの各々の各画素データのうち、コントラストの高い方の画素データを選択し、選択した画素データから新たな第一の画像データを生成する。
【００６１】
ステップＳ３３で実施した撮影がｎ回目の撮影でなかった場合（ステップＳ３６：ＮＯ）、デジタル信号処理部１７は、第二の撮影によって得られた撮像信号から第三の画像データを生成する（ステップＳ３７）。
【００６２】
次に、デジタル信号処理部１７は、ステップＳ３３の撮影の後に固体撮像素子５から出力される撮像信号から第二の画像データを生成する（ステップＳ３８）。
【００６３】
次に、デジタル信号処理部１７は、ステップＳ３７で生成した第三の画像データの端部（例えば図３に示したように右端）に第一領域を設定し、ステップＳ３８で生成した第二の画像データの、該第三の画像データの端部とは反対側の端部（図３に示したように左端）に第一領域と同じ大きさの第二領域を設定し、第一領域内のデータと第二領域内のデータとの相関度を検出する（ステップＳ３９）。相関度の検出方法は第一実施形態で説明したとおりである。
【００６４】
次に、デジタル信号処理部１７は、表示部２３に表示させているステップＳ３８で生成した第二の画像データに基づくスルー画像に、ステップＳ３９で検出した相関度の情報を合成して表示させる（ステップＳ４０）。
【００６５】
ステップＳ３８〜Ｓ４０の処理は撮影指示がなされるまで繰り返し行われ、ステップＳ４１で撮影指示があると、ステップＳ３１へと処理を移行する。
【００６６】
ステップＳ３２で顔が検出されなかった場合、図２のステップＳ２〜Ｓ７までの処理が行われる。そして、ステップＳ７の後に撮影指示があると（ステップＳ４８：ＹＥＳ）、ステップＳ３１に処理を移行し、撮影指示がないと（ステップＳ４８：ＮＯ）、ステップＳ５に処理を移行する。
【００６７】
ステップＳ３３での撮影又はステップＳ２での撮影が、パノラマ撮影モードに設定されてからｎ回目の撮影であった場合（ステップＳ３６：ＹＥＳ、ステップＳ３：ＹＥＳ）、デジタル信号処理部１７は、図２のステップＳ９の処理を行う。
【００６８】
以上のように、本実施形態のデジタルカメラによれば、撮影指示を行った時点で被写体に顔が含まれているときには、顔と背景のそれぞれに焦点を合わせた撮影が実施され、顔と背景に焦点の合った第一の画像データが生成されて、これを用いてパノラマ画像データが生成される。パノラマ撮影は、一般的に広い範囲を写すので、景色等が多い。しかし、人物と景色という状況も多々あり、そのとき人物に焦点が合ってしまうと、折角の景色がぼやけてしまう。一方、景色に焦点が合ってしまうと、折角の人物がぼやけてしまう。そこで、本実施形態のように、人物と景色の双方に焦点を合わせた第一の画像データを生成することで、良好なパノラマ画像を得ることができる。
【００６９】
尚、本実施形態においても、相関度が閾値以上となる期間が所定期間続いたときに、自動的に撮影を行うようにすることができる。
【００７０】
（第五実施形態）
図１１は、本発明の第五実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図である。
図１１に示すデジタルカメラは、図２に示すデジタルカメラに動体検出部２８を追加した構成となっている。
動体検出部２８は、固体撮像素子５から出力される撮像信号から生成された画像データから、動く物体である動体を検出する。動体検出処理は公知のものを利用することができる。
【００７１】
図１２は、第五実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャートである。図１２において図２と同様の処理には同一符号を付して説明を省略する。図１３は、第五実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図である。
ステップＳ４の後、動体検出部２８は、ステップＳ１の撮影指示の直前に生成された第二の画像データと、ステップＳ２の撮影で得られた第三の画像データとを比較して、第三の画像データの第一領域内に動体があるか否かを検出する（ステップＳ５１）。
【００７２】
動体検出部２８は、例えば、ステップＳ４で生成された第三の画像データに第一領域を設定してこれを複数ブロックに分割し、ステップＳ１の撮影指示の直前に生成された第二の画像データに対する各ブロックの移動ベクトルを求める。そして、求めた移動ベクトルが全て同一方向であれば、第一領域内には動体がないことを検出し、求めた移動ベクトルの中に他とは異なる方向のものがあれば、第一領域内に動体があることを検出する。
【００７３】
ステップＳ５１で、第一領域から動体が検出されなかった場合、相関度検出部２６は、第三の画像データに設定した第一領域から特徴点を抽出する（ステップＳ５２）。一方、ステップＳ５１で、第一領域から動体が検出された場合、相関度検出部２６は、第三の画像データに設定した第一領域内の該検出された動体部分（移動ベクトルが異なるブロック）を除外した領域から特徴点を抽出する（ステップＳ５７）。
【００７４】
次に、デジタル信号処理部１７は、ステップＳ２の撮影後に固体撮像素子５から出力されてくる撮像信号から第二の画像データを生成し（ステップＳ５３）、生成した第二の画像データに基づく画像を、表示制御部２２を介して表示部２３にスルー画像として表示させる。
【００７５】
次に、相関度検出部２６は、第三の画像データの第一領域から抽出した特徴点と、ステップＳ５３で生成した第二の画像データに設定した第二領域内のデータとを比較して、第三の画像データの第一領域と第二の画像データの第二領域との相関度を検出する（ステップＳ５４）。
【００７６】
次に、デジタル信号処理部１７は、表示部２３に表示させているステップＳ５３で生成した第二の画像データに基づくスルー画像に、ステップＳ５４で検出した相関度の情報を合成して表示させる（ステップＳ５５）。
【００７７】
ステップＳ５３〜Ｓ５５の処理は撮影指示がなされるまで繰り返し行われ、ステップＳ５６で撮影指示があると、ステップＳ２へと処理を移行する。
【００７８】
以上のように、本実施形態のデジタルカメラによれば、第三の画像データの第一領域内に動体が含まれる場合には、この動体部分を除く領域から特徴点の抽出がなされて相関度の検出が行われる。このため、被写体に動体が含まれていた場合でも、相関度の誤検出を防ぐことができ、良好なパノラマ画像を得ることができる。
【００７９】
尚、本実施形態では、ステップＳ４の後に第一領域に動体が含まれているか否かを検出するものとしているが、スルー画像表示中は常に動体検出を行い、スルー画像データの端部に設定される第一領域に動体が含まれていることが検出された場合に、ユーザにその旨を警告するようにしても良い。警告の手法としては、スピーカから音を鳴らしたり、表示部２３に文字を表示したり、等の方法を採用すれば良い。ユーザは、この警告にしたがい、動体が移動するまで待ってから撮影を行うことで、相関度の誤検出を防ぐことが可能となる。
【００８０】
又、上述した“動体検出を常に行って警告を行う処理”と、図１２に示した処理とを組み合わせることも可能である。図１２に示した処理では、第一領域に動体が含まれていた場合に、特徴点の数が減るため、相関度の検出精度が若干低下してしまう。そこで、警告を合わせて行うようにすることで、特徴点が減って相関度の検出精度が低くなっても良いから撮影をするのか、相関度の検出精度を優先して動体が移動するまで待ってから撮影するのかを選択できるようになり、デジタルカメラの利便性を向上させることができる。
【００８１】
又、上述した“動体検出を常に行って警告を行う処理”は、第一実施形態〜第四実施形態で説明したデジタルカメラにおいても適用することができる。
【００８２】
尚、本実施形態においても、相関度が閾値以上となる期間が所定期間続いたときに、自動的に撮影を行うようにすることができる。
【００８３】
又、第一実施形態〜第五実施形態で説明したデジタルカメラ内の各処理は、デジタルカメラ内のＲＯＭに格納されているプログラムを、システム制御部１１に内蔵されたＣＰＵ（中央演算処理装置）やデジタル信号処理部１７を構成するＤＳＰ（デジタルシグナルプロセッサ）等のプロセッサが実行することで、実現されるものである。
【図面の簡単な説明】
【００８４】
【図１】本発明の第一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図
【図２】本発明の第一実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャート
【図３】本発明の第一実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図
【図４】本発明の第一実施形態のデジタルカメラのパノラマ撮影モード時に表示部に表示される画面例を示した図
【図５】本発明の第二実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャート
【図６】本発明の第三実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図
【図７】本発明の第三実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャート
【図８】本発明の第三実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図
【図９】本発明の第四実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャート
【図１０】本発明の第四実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図
【図１１】本発明の第五実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図
【図１２】本発明の第五実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャート
【図１３】本発明の第五実施形態のデジタルカメラのパノラマ撮影モード時の動作を説明するための図
【符号の説明】
【００８５】
５  固体撮像素子
１７  デジタル信号処理部
２３  表示部
２６  相関度検出部
【図１】
2009124340.tif 000003
【図２】
2009124340.tif 000004
【図３】
2009124340.tif 000005
【図４】
2009124340.tif 000006
【図５】
2009124340.tif 000007
【図６】
2009124340.tif 000008
【図７】
2009124340.tif 000009
【図８】
2009124340.tif 000010
【図９】
2009124340.tif 000011
【図１０】
2009124340.tif 000012
【図１１】
2009124340.tif 000013
【図１２】
2009124340.tif 000014
【図１３】
2009124340.tif 000015