(57)【要約】【課題】  光軸方向での距離が離れた被写体が存在するシーンにおいても違和感のないパノラマ撮像ができる撮像装置を提供する。【解決手段】  撮像装置は、パンニングをしながら複数の画像の撮像を行う撮像手段と、前記撮像手段が前記撮像を行うときの光軸方向のピント位置を設定する設定手段と、被写体の距離情報を取得する取得手段と、前記複数の画像を用いてパノラマ画像の合成を行う合成手段と、前景を判定する判定手段と、を有し、複数の前記被写体が存在し、前記撮像手段が前記パンニングをしながら、前記ピント位置の設定手段は、前記取得手段が取得した前記距離情報に応じて、いずれかの前記被写体にピントが合うように前記ピント位置を設定し、前記合成手段は、前記複数の画像を用いて合成画像を作成し、前記合成画像は、少なくとも一部の領域において、該領域のそれぞれの前記被写体にピントが合う。【選択図】  図５
2019125928.tif 000002
【特許請求の範囲】
【請求項１】
パンニングをしながら複数の画像の撮像を行う撮像手段と、
前記撮像手段が前記撮像を行うときの光軸方向のピント位置を設定する設定手段と、
被写体の距離情報を取得する取得手段と、
前記複数の画像を用いてパノラマ画像の合成を行う合成手段と、
前記複数の被写体から前景を判定する判定手段と、を有し、
複数の前記被写体が存在し、
前記撮像手段が前記パンニングをしながら、前記ピント位置の設定手段は、前記取得手段が取得した前記距離情報に応じて、前記撮像手段が前記撮像を行うときにいずれかの前記被写体にピントが合うように前記ピント位置を設定し、
前記合成手段は、前記複数の画像を用いて合成画像を作成し、前記合成画像は、少なくとも一部の領域において、該領域に存在するそれぞれの前記被写体にピントが合い、
前記合成手段は、前記前景にピントが合う前記画像から前記前景を切り出し、該前景の周囲に存在する該前景と異なる前記被写体にピントが合う前記画像に対して合成を行うことを特徴とする撮像装置。
【請求項２】
前記撮像手段が前記パンニングをしながら、前記設定手段は、少なくとも前記パンニングの一部の過程において、連続的に前記ピント位置を変えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記設定手段が前記ピント位置を変えているときの前記撮像手段が前記撮像を行うときの撮像間隔は、前記設定手段が前記ピント位置を変えていないときの前記撮像手段が前記撮像を行うときの撮像間隔よりも長いことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記合成画像は、少なくとも前記前景を含んだ領域において、該領域のそれぞれの前記被写体にピントが合うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記判定手段は、画像認識または前記距離情報を用いて前記前景を判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記前景が人物であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記判定手段は、前記前景と光軸方向での距離が異なる背景を判定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段は、前記前景と前記背景とを含む画像の撮像する場合において、
前記ピント位置の設定手段は、
前記背景がすでに撮像された場合に、前記ピントを該前景に設定し、
前記背景が撮像されなかった場合に、前記ピントを該背景に設定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
さらに警告手段を有し、
前記設定手段が前記ピント位置を変える量は所定量を超えると、前記警告手段は警告することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記取得手段は、ステレオ画像を用いて前記距離情報を取得することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像手段は、１つの画素に対して複数の光電変換部を有する構造を有し、前記ステレオ画像を取得することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
パンニングをしながら複数の画像の撮像を行う撮像ステップと、
前記撮像ステップにおいて前記撮像を行うときの光軸方向のピント位置を設定する設定ステップと、
被写体の距離情報を取得する取得ステップと、
前記複数の画像を用いてパノラマ画像の合成を行う合成ステップと、
前記複数の被写体から前景を判定する判定ステップと、を有し、
複数の前記被写体が存在し、
前記撮像ステップにおいては前記パンニングをしながら、前記ピント位置の設定ステップにおいては、前記取得ステップにおいて取得した前記距離情報に応じて、前記撮像ステップにおいて前記撮像を行うときにいずれかの前記被写体にピントが合うように前記ピント位置を設定し、
前記合成ステップにおいては、前記複数の画像を用いて合成画像を作成し、前記合成画像は、少なくとも一部の領域において、該領域に存在するそれぞれの前記被写体にピントが合い、
前記合成ステップにおいては、前記前景にピントが合う前記画像から前記前景を切り出し、該前景の周囲に存在する該前景と異なる前記被写体にピントが合う前記画像に対して合成を行うことを特徴とする撮像方法。
【請求項１３】
撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
パンニングをしながら複数の画像の撮像を行う撮像ステップと、
前記撮像ステップにおいて前記撮像を行うときの光軸方向のピント位置を設定する設定ステップと、
被写体の距離情報を取得する取得ステップと、
前記複数の画像を用いてパノラマ画像の合成を行う合成ステップと、
前記複数の被写体から前景を判定する判定ステップと、を行わせ、
複数の前記被写体が存在し、
前記撮像ステップにおいては前記パンニングをしながら、前記ピント位置の設定ステップにおいては、前記取得ステップにおいて取得した前記距離情報に応じて、前記撮像ステップにおいて前記撮像を行うときにいずれかの前記被写体にピントが合うように前記ピント位置を設定し、
前記合成ステップにおいては、前記複数の画像を用いて合成画像を作成し、前記合成画像は、少なくとも一部の領域において、該領域に存在するそれぞれの前記被写体にピントが合い、
前記合成ステップにおいては、前記前景にピントが合う前記画像から前記前景を切り出し、該前景の周囲に存在する該前景と異なる前記被写体にピントが合う前記画像に対して合成を行うことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成してパノラマ画像を作成する撮像装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置をパンニングしながら複数の画像を撮像し、撮像した画像を繋ぎ合わせてパノラマ画像を生成する方法が知られている。特許文献１では、パノラマ撮像する前に、ピント位置などの条件を決める技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、パンニング撮像中に最初にピントを合わせた被写体の距離とは異なる距離にある被写体が入ってきた場合には、ピントの合っていない被写体が含まれるパノラマ画像となってしまう。例えば、人物と背景との距離が遠い場合に、背景にピントを固定してパノラマ画像の撮像を行うと、途中で登場する人物にはピントが合わなくなる。反対に、人物にピントを固定してパノラマ画像の撮像を行うと、背景にはピントが合わなくなる。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、パンニング領域で光軸方向での距離が大きく離れた被写体が存在するシーンにおいても、違和感の小さいパノラマ画像を合成することができる撮像装置を提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本願発明は、パンニングをしながら複数の画像の撮像を行う撮像手段と、前記撮像手段が前記撮像を行うときの光軸方向のピント位置を設定する設定手段と、被写体の距離情報を取得する取得手段と、前記複数の画像を用いてパノラマ画像の合成を行う合成手段と、前記複数の被写体から前景を判定する判定手段と、を有し、複数の前記被写体が存在し、前記撮像手段が前記パンニングをしながら、前記ピント位置の設定手段は、前記取得手段が取得した前記距離情報に応じて、前記撮像手段が前記撮像を行うときにいずれかの前記被写体にピントが合うように前記ピント位置を設定し、前記合成手段は、前記複数の画像を用いて合成画像を作成し、前記合成画像は、少なくとも一部の領域において、該領域に存在するそれぞれの前記被写体にピントが合い、前記合成手段は、前記前景にピントが合う前記画像から前記前景を切り出し、該前景の周囲に存在する該前景と異なる前記被写体にピントが合う前記画像に対して合成を行うことを特徴とする撮像装置を提供する。
【発明の効果】
【０００７】
本発明の構成によれば、パンニング領域で光軸方向での距離が大きく離れた被写体があっても、違和感の小さいパノラマ画像を合成する撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。
【図２】本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。
【図３】従来方法を用いるパノラマ撮像中のデジタルカメラの動く方向と画像データの切り出し領域との関係を説明するための図である。
【図４】従来方法を用いるパノラマ画像の合成処理の流れを説明する図である。
【図５】本発明の実施形態におけるパノラマ撮像を示す図である。
【図６】本発明の実施形態におけるパノラマ合成を説明するためのフローチャートである。
【図７】本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。
【図８】本発明の実施形態におけるフォーカスレンズ移動判定を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。
【００１１】
デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。
【００１２】
デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。
【００１３】
記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。
【００１４】
図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。
【００１５】
または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、後述する自動焦点検出（ＡＦ）処理がより素早くできる。
【００１６】
デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。
【００１７】
画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００１８】
画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。
【００１９】
Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。
【００２０】
メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。
【００２１】
デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。
【００２２】
システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。
【００２３】
図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。
【００２４】
操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。
【００２５】
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。
【００２６】
シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。
【００２７】
モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。
【００２８】
デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
【００２９】
デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。
【００３０】
次に、パノラマ撮像の方法と、複数の撮像画像からパノラマ画像を合成する方法について説明する。最初に、パノラマ画像を合成するために撮像画像の画像データから所定の領域を切り出す処理について説明する。
【００３１】
図３は、従来方法を用いるパノラマ撮像中のデジタルカメラ１００の動く方向と画像データの切り出し領域との関係を説明するための図である。
【００３２】
図３（ａ）は、撮像部２０４が有する撮像素子の有効画像領域を示しており、“Ｗｖ”は水平方向の有効画素数であり、“Ｈｖ”は垂直方向の有効画素数である。図３（ｂ）は、撮像画像の画像データから切り出した切り出し領域を示しており、“Ｗｃｒｏｐ”は水平方向の切り出し画素数であり、“Ｈｃｒｏｐ”は垂直方向の切り出し画素数である。
【００３３】
図３（ｃ）は、矢印で示す水平方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｃ）においてハッチングにて示した領域Ｓ１が画像データからの切り出し領域を示しており、下記の（式１）および（式２）を満たす。
Ｗｖ＞Ｗｃｒｏｐ      ・・・・・・（式１）
Ｈｖ＝Ｈｃｒｏｐ      ・・・・・・（式２）
【００３４】
同様に、図３（ｄ）は、矢印で示す鉛直方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｄ）においてハッチングにて示した領域Ｓ２が画像データの切り出し領域を示しており、下記の（式３）および（式４）を満たす。
Ｗｖ＝Ｗｃｒｏｐ      ・・・・・・（式３）
Ｈｖ＞Ｈｃｒｏｐ      ・・・・・・（式４）
【００３５】
撮像画像の画像データの切り出し領域は、画像データ毎に異なるようにしてもよい。また、パノラマ撮像の開始時とパノラマ撮像の終了時の画像データについては、画角を広くするために切り出し領域を広くしてもよい。画像データの切り出し領域の決定方法は、例えば、撮像直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度との差等により決定することができる。パノラマ画像の合成処理に必要な画像データのみを切り出して保存することにより、メモリ２０９の記憶容量を節約することができる。
【００３６】
次に、パノラマ画像の合成方法について説明する。システム制御部２１０は、パノラマ撮像時に保存された切り出し領域をメモリ２０９から読み出し、読み出した画像データにパノラマ合成を行う。
【００３７】
図４は、従来方法を用いたパノラマ画像の合成処理の流れを説明する図である。図４では、ドットハッチングされた領域は、被写界にある並木を模式的に表した領域であり、斜線ハッチングされた領域は、画像データの切り出し領域を表している。図４（ａ）は、ユーザがシャッタボタン１２１を押下し、第１スイッチＳＷ１がオンにされた状態を示し、ユーザは、主被写体に対してピント合わせを行うことを示している。図４（ｂ）は、シャッタボタン１２１の第２スイッチＳＷ２がオンにされた位置を示しており、ユーザが合成しようとしているパノラマ画像の一方の端に合わせて画角を設定している。図４（ｂ）では、撮像部２０４は画像４１０を撮像する。図４（ｃ）乃至図４（ｅ）では、ユーザが合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００を移動させながら、パノラマ撮像を行っている状態を模式的に示している。図４（ｅ）は、ユーザがシャッタボタン１２１の押下をやめ、パノラマ撮像が終了した状態を示している。図４（ｂ）乃至図４（ｅ）では、撮像部２０４が画像４１０乃至４７０計７枚の画像を撮像したが、画像４３０、４５０および４６０は不図示である。画像処理部２０６は、撮像部２０４が撮像した画像４１０乃至４７０に対して切り出し処理を行い、切り出し領域４１１乃至４７１を生成する。システム制御部２１０において、切り出し領域の幅は、予め定めてもよいが、パノラマ撮像中のデジタルカメラ１００の移動速度などに応じて変化させてもよい。
【００３８】
図４（ｆ）は、画像処理部２０６が、撮像部２０４が撮像した複数の画像を合成してできたパノラマ画像を示している。ここで、システム制御部２１０は、合成を行う前に、画像に対して位置合わせを行う。また、手振れなどのため、切り出し領域４１１乃至４７１の上辺と下辺とは合っていないため、画像処理部２０６は、縦方向に対しても切り出し処理を行う。その結果、画像処理部２０６は、領域４００が示したようなパノラマ画像を生成する。
【００３９】
システム制御部２１０は、画像処理部２０６が検出した複数の動きベクトルに基づいて、位置合わせを行う。一例としては、画像処理部２０６は、切り出し領域を任意のサイズの小ブロックに分割し、小ブロック毎に輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部２１０は、算出したＳＡＤが最小となる対応点より、動きベクトルを算出することができる。システム制御部２１０は、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００４０】
図４では、図を見やすくするため、切り出し領域４１１乃至４７１の互いに重畳する領域がなく、かつ、互いに隣接しているように示している。しかしながら、実際にＳＡＤなどの位置合わせのための処理のために、切り出し領域に重畳する領域が存在する必要がある。重畳する領域が存在していれば、重畳する領域の中央を境目として、画像処理部２０６は、その左側に片方の切り出し領域、右側にもう片方の切り出し領域の画素情報を合成画像に出力する。もしくは、画像処理部２０６は、境目上に両方の切り出し領域の画素情報を５０％ずつ合成した値を出力し、境目からの距離が離れるに従って境目の左側では片方の切り出し領域を、境目の右側ではもう片方の切り出し領域の割合を大きくしながら合成を行う。
【００４１】
前述のパノラマ画像の合成方法は、あくまでも手前の人にピントを合わせることを前提にしている。しかしながら、場合によって、奥にある木にもピントを合わせたい場面がある。前述した方法では、ピント位置は、図４（ａ）の段階で決められ、その後には変わらずに撮像を続けているので、奥にある木にピントを合わせることができない。
【００４２】
奥にある木にもピントを合わせるために、以下のような実施方法が考えられる。つまり、撮像をするたびに、ピント合わせを行い、そこで測定されたピント位置で撮像を行う。図４を例とすると、図４（ａ）でピント合わせを行わずに、画像４１０乃至４７０のそれぞれを撮像する前に、ピント合わせを行う。
【００４３】
しかしながら、それぞれの画像を撮像する前にピント合わせを行うとすると、画像４４０のように、切り出される領域４４１に手前と奥との両方の被写体が存在することがある。手前と奥との両方の被写体の光軸方向での距離が長いと、１回の撮像で得られた画像から両方にピントが合うような領域４４１を取得することができず、合成画像に片方の被写体がぼけることになってしまう。
【００４４】
以上のような課題に対して、本実施形態では、被写体の距離情報に基づき、パンニング中フォーカスレンズの位置を動かして撮像を行い、かつ、ピントが合う被写体領域を抽出してパノラマ画像を合成する。
【００４５】
図５は、本実施形態におけるパノラマ撮像を示す図である。図５の上段と中段では、システム制御部２１０が、画像５０１乃至５１０を用いて、合成画像５４０を合成する様子を示している。合成画像５４０では、奥側にある被写体５２０（背景）と手前側にある被写体５３０（前景）とが映っている。図５の下段は、撮像部２０４が画像を撮像する一部の過程（画像５０６乃至画像５０８を撮像している間）において、ピント位置が連続的に変更していることも示している。
【００４６】
線５５０は、パンニング中のピント位置の変化を示しており、画像５０８を撮像する位置の付近で被写体５３０に合わせるようになり、また被写体５２０に合わせるようになることを示している。合成画像５４０の作成に用いられる画像５０１乃至５１０の中では、画像５０８と隣り合う画像との撮像間隔は、他の画像の撮像間隔よりも長い。つまり、ピント位置の変化に応じて、撮像間隔も長くなる。
【００４７】
図６は、本実施形態におけるパノラマ合成を説明するためのフローチャートである。なお、下記の記述でいう「距離」は、特に説明がなければ、光軸方向での距離を指す。
【００４８】
ステップＳ６０１で、システム制御部２１０は、スイッチＳＷ１がオンしたかどうかを判断し、オンの場合ステップＳ６０２に進む。
【００４９】
ステップＳ６０２では、システム制御部２１０は、ＡＥ処理とＡＦ処理を行い、撮像条件（露出、撮像感度、ＷＢ等）を決定する。また、ステップＳ６０２でパノラマ画像の合成に用いる画像の枚数またはサイズなどを決定してもよい。
【００５０】
ステップＳ６０３では、システム制御部２１０は、スイッチＳＷ２がオンしたかどうかを判断し、オンの場合ステップＳ６０４に進む。
【００５１】
ステップＳ６０４では、撮像部２０４は、ステップＳ６０２で決定した撮像条件のもとで、１枚の画像を撮像する。
【００５２】
ステップＳ６０５で、検出部２１５は、撮像中のデジタルカメラの姿勢を検出する。そして、ステップＳ６０５で、システム制御部２１０は、検出部２１５が検出した姿勢の情報を利用して、２枚の画像を撮像する間にパンニングした角度を算出することができる。
【００５３】
ステップＳ６０６で、撮像部２０４は、距離情報を取得する。撮像部２０４における画素は、複数の光電変換部を有する構造となっており、以下のようにして距離情報を得ることができる。
【００５４】
図７は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。
【００５５】
図７では、画素アレイ７０１が、マイクロレンズ７０２と、カラーフィルタ７０３と、光電変換部７０４および７０５を備えている。光電変換部７０４と７０５とは、同じ画素に属し、共通する１つのマイクロレンズ７０２と１つのカラーフィルタ７０３に対応する。図７はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部７０４と７０５が左右に並んで配置されていることを示している。射出瞳７０６から出る光束のうち、光軸７０９を境にして、上側の光束（領域７０７からの光束に相当）は光電変換部７０５に入射し、下側の光束（領域７０８からの光束に相当）は光電変換部７０４に入射する。つまり、光電変換部７０４と７０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部７０４が受光した信号をＡ像、光電変換部７０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。
【００５６】
図６に戻り、ステップＳ６０７では、システム制御部２１０は、フォーカスレンズの移動判定を行う。その詳細について図８を用いて説明する。
【００５７】
図８は、本実施形態におけるフォーカスレンズ移動判定を説明するためのフローチャートである。
【００５８】
ステップＳ８０１で、システム制御部２１０は、主被写体の検出を行う。主被写体の検出は、例えば対象画像中を人物の目、口などの部分特徴に基づいて顔を検出するなどの既知の顔検出手段を使用すればよい。また、主被写体とする被写体は、デジタルカメラに予め登録されている顔情報と同一人物と判定される顔としてもよい。あるいは、システム制御部２１０は、撮像画像に、顔、並びに、体が撮像されていることをもって、主被写体検出ができたと判断してもよい。体が撮像されているかの判定は、画像の距離情報から、顔の下側に顔領域と所定範囲内の距離情報を有する領域があり、かつ、この領域の左右両側に顔領域よりも遠い距離情報を有する領域が存在することから判定すればよい。また、顔が検出されていなくても、デジタルカメラを動かしている方向に現れた被写体が、人であると判定された場合に、主被写体が検出されたとしてもよい。
【００５９】
ステップＳ８０２で、システム制御部２１０は、主被写体が検出された場合にはステップＳ８０３に進み、検出されなかった場合にはステップＳ８０５に進む。
【００６０】
ステップＳ８０３では、システム制御部２１０は、今まで撮像された画像の中で、すでに主被写体の背景の領域となる画像を撮像済みかの判定を行う。具体的に言うと、システム制御部２１０は、図５の上段に示すように、主被写体の周囲であって、かつ、主被写体の近傍である領域を主被写体の背景とし、その主被写体の背景を包含する画像を撮像したかどうかについて判断する。この主被写体の近傍である領域には、スイング動作によって主被写体よりも後で画角に登場する領域を含む。この主被写体の背景を包含する画像は、後で主被写体の領域の画像を背景領域の画像に合成する際に必要となる。このような画像が存在しない場合、主被写体の背景の領域を包含する画像を撮像するためにステップＳ８０５に進む。
【００６１】
ステップＳ８０３で、システム制御部２１０は、主被写体の背景の領域を包含する画像が撮像済みと判断した場合にステップＳ８０４に進み、そうでない場合はステップＳ８０５に進む。
【００６２】
ステップＳ８０４で、システム制御部２１０は、現在の光学系のピント位置と、ステップＳ６０６で取得した主被写体の距離情報との差分が所定値以上かどうかを判断する。ここでいう所定値とは、光学系の現在のピント位置で撮像を行った場合に、主被写体のところにボケが生じるとみなされる、差分の下限値である。所定値以上であれば、ステップＳ８０７に進み、ピント位置の移動先を主被写体の位置に設定する。所定値以上でなければ、ステップＳ８０６に進み、フォーカスレンズの移動を非実施に設定する。
【００６３】
同様に、ステップＳ８０５で、システム制御部２１０は、現在の光学系のピント位置と、ステップＳ６０６で取得した距離情報のうちの背景において支配的な領域の距離情報との差分が所定値以上かどうかを判断する。背景において支配的な領域とは、距離情報に基づいて背景領域をグループ化した場合に最もサイズが大きくなる領域、あるいは、撮像画角の中央に位置する領域とすればよい。この差分が所定値以上であれば、ステップＳ８０８に進み、ピント位置の移動先を背景のうち支配的な領域の位置に設定する。所定値以上でなければ、ステップＳ８０９に進み、フォーカスレンズの移動を非実施に設定する。ステップＳ８０４でいう所定値とステップＳ８０５でいう所定値とは同じ値としてもよいし、現在の光学系のピント位置に応じた被写界深度に応じて設定してもよい。
【００６４】
ステップＳ８０６及びステップＳ８０９で、システム制御部２１０は、フォーカスレンズ移動を非実施に設定すると、このフローを終了する。
【００６５】
一方、ステップＳ８０７またはステップＳ８０８での設定が行われたら、ステップＳ８１０に進み、システム制御部２１０は、フォーカスレンズの移動量が所定値以上であるかどうかについて判断する。この距離が所定値以上であれば、フォーカスレンズの移動時間が多くかかってしまい、それにより、適切に画像を合成できなくなる可能性もあるので、ステップＳ８１１でシステム制御部２１０は、移動量警告フラグをオンにする。そして、ステップＳ８１２で、システム制御部２１０は、Ｆ値の変動量が所定値以上かどうかについて判断する。フォーカスレンズを動かすと、Ｆ値が変動する。この変動量が大きい場合、デジタルカメラ１００は、ＡＥをロックしたままだと、露出が適切な画像を撮像することができない。したがって、ステップＳ８１３で、システム制御部２１０は、ＡＥロック解除フラグをオンにする。
【００６６】
図６に戻り、ステップＳ６０８で、システム制御部２１０は、ステップＳ６０７での判定の結果に基づいて、フォーカスレンズを移動させるかどうかについて判断する。フォーカスレンズを移動させる場合はステップＳ６０８に進み、フォーカスレンズを移動させない場合はステップＳ６１４に進む。
【００６７】
ステップＳ６０９で、移動量警告フラグがオンであれば、ステップＳ６１０に進み、表示部１０１がゆっくりパンニングすることを促す警告を表示する。ステップＳ６１１で、ＡＥロック解除フラグがオンであれば、ステップＳ６１２に進み、ＡＥロック解除を行う。ＡＥロック解除を行った場合には、ここで再度ＡＥ処理を行う。
【００６８】
ステップＳ６１３では、システム制御部２１０は、フォーカスレンズを移動させる。
【００６９】
ステップＳ６１４では、撮像部２０４は、撮像を行う。
【００７０】
ステップＳ６１５で、システム制御部２１０は、ステップＳ６１４で撮像部２０４が撮像した画像が、主被写体にピントを合わせたものであるかどうかについて判断する。主被写体にピントを合わせた画像である場合、その主被写体が存在する領域に対して、主被写体領域を切り出した画像の生成が必要なので、フローはステップＳ６１６に進む。ステップＳ６１４で撮像部２０４が撮像した画像が主被写体にピントを合わせた画像でなければ、フローはステップＳ６１７に進む。
【００７１】
ステップＳ６１６では、システム制御部２１０は、主被写体領域の画像を生成する。例えば、ステップＳ６１６での主被写体領域の画像の生成は、ステップＳ８０１と同様の画像認識の方法で主被写体を認識し、主被写体の領域の部分を切り出すことで行われる。あるいは、エッジ検出を利用して、主被写体の部分を切り出してもよい。この方法では、まず、主被写体の背景を包含する画像と、主被写体にピントを合わせた画像の２つの画像の位置合わせを行う。２つの画像の位置合わせといっても、互いにピント位置を異ならせて撮像した画像であるため、画像処理部２０６が２つの画像の解像度を低下させてボケの程度を一致させてから、２つの画像の位置ずれ量を算出する。そして、システム制御部２１０は、算出した位置ずれ量に基づいて位置合わせの後の２つの画像のそれぞれからエッジを抽出する。主被写体にピントを合わせた画像から抽出されたエッジのうち、主被写体の背景を包含する画像におけるエッジよりも、エッジレベルが閾値以上高いエッジを、主被写体領域の輪郭と判断することができる。
【００７２】
ステップＳ６１７では、画像処理部２０６は、画像処理部２０６は、作成途中のパノラマ画像に対して、新たに撮像した画像の位置合わせを行い、これらの画像の合成を行う。具体的には、画像処理部２０６は、新たに撮像した画像が主被写体にピント合わせた画像でない場合には、図３（ｂ）に示したような短冊状に領域を切り出し、これを作成途中のパノラマ画像と位置合わせをして合成する。これにより、パノラマ画像のサイズが拡大される。
【００７３】
新たに撮像した画像が主被写体にピント合わせた画像である場合には、画像処理部２０６は、ステップＳ６１６で切り出した主被写体領域の画像を、主被写体の背景を包含する画像を合成済みのパノラマ画像に対して、位置合わせをして合成する。この場合、パノラマ画像のサイズは変化しないが、背景にピントを合わせて撮像した画像で生成されたパノラマ画像のうち、主被写体の領域の画像が、主被写体にピントを合わせて撮像した画像に置き換えられることになる。
【００７４】
ステップＳ６１８で、システム制御部２１０は、合成処理が成功したかどうかについて判断する。合成処理が成功しなかったとする場合とは、隣り合う画像間での切り出し領域、すなわちパノラマ画像の合成に用いられる領域の重複部分が少なくなった場合などである。合成処理が成功していないと判定された場合は、このフローの処理を終了させる。成功した場合、ステップＳ６１９に進み、システム制御部２１０は、スイッチＳＷ２が解除されたかどうかについて判断する。解除された場合はフローを終了させ、解除されていない場合は、ステップＳ６２０に進む。ステップＳ６２０で、システム制御部２１０は、所定量が撮像されたかどうかについて判断する。所定量とは、ステップＳ６０２で決定した画像の枚数やサイズの上限などを指す。所定量に達した場合は、フローを終了させ、所定量に達していない場合、ステップＳ６０５に戻る。
【００７５】
以上の説明のように、システム制御部２１０は、フォーカスレンズを移動させるかどうかを判断し、移動させると判断する場合に、ピント位置の移動先を決定する。
【００７６】
本実施形態によれば、デジタルカメラは、パノラマ撮像において、光軸方向での距離が離れた被写体が存在するとき、フォーカスレンズの移動が必要かを判断し、前後の被写体ともにピントが合うパノラマ画像を合成することができる。
【００７７】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、パノラマ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。
【００７８】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１００  デジタルカメラ
１０２  操作部
１０４  モード切替スイッチ
１３０  記録媒体
２０４  撮像部
２０６  画像処理部
２０７  メモリ制御部
２０９  メモリ
２１０  システム制御部
２１５  検出部
２１６  Ｉ／Ｆ
【図１】
2019125928.tif 000003
【図２】
2019125928.tif 000004
【図３】
2019125928.tif 000005
【図４】
2019125928.tif 000006
【図５】
2019125928.tif 000007
【図６】
2019125928.tif 000008
【図７】
2019125928.tif 000009
【図８】
2019125928.tif 000010