(57)【要約】【課題】  ピント位置の異なる複数の画像を撮像し、合成を行う撮像装置において、利便性の良く、合成画像の画角を確認できる方法を提供する。【解決手段】  撮像装置は、撮像手段で生成された画像を表示する表示手段と、撮像手段で生成されたピント位置が異なる複数の画像を合成する画像処理手段と、制御手段を有する。制御手段は、ピント位置が、異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得し、画像処理手段が、表示手段に表示される画像に対応する像倍率と基準となる像倍率に基づいて、表示手段に表示される画像を補正することを特徴とする。【選択図】  図２
2018101951.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段で生成された画像を表示する表示手段と、
前記撮像手段で生成されたピント位置が異なる複数の画像を合成する画像処理手段と、
制御手段を有し、
前記制御手段は、前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得し、
前記画像処理手段は、前記表示手段に表示される画像に対応する像倍率と前記基準となる像倍率に基づいて、前記表示手段に表示される画像を補正することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記表示手段に表示される画像の像倍率が前記基準の像倍率と等しくなるように、前記表示手段に表示される画像を拡大処理することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記基準となる像倍率は、前記ピント位置が異なる複数の画像に対応する像倍率のうち、もっとも大きな像倍率であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記ピント位置が異なる複数の画像を合成する前に、前記基準となる像倍率を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記ピント位置が異なる複数の画像のそれぞれに対応するピント位置を設定した後で、前記基準となる像倍率を取得することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ピント位置を変化させるためのレンズと、
前記レンズの固有情報であるレンズの情報を取得する取得手段を有し、
前記制御手段は、前記取得手段が取得した前記レンズの情報と、設定したピント位置とに基づいて、前記基準となる像倍率を取得することを特徴とする請求項５に記載の撮像装置。
【請求項７】
被写体の距離情報を取得する取得手段、を有し、
前記制御手段は、前記取得手段が取得する前記距離情報に基づいて前記ピント位置を設定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段で生成された画像から被写体の領域を検出する検出手段を有し、
前記制御手段は、前記被写体の領域において取得された前記距離情報に基づいて、前記ピント位置を設定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像処理手段は、前記ピント位置が異なる複数の画像を合成する前に、前記表示手段に表示される画像を補正することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記制御手段は、前記ピント位置が異なる複数の画像のうち、初めに撮像された画像に対応する像倍率を、前記基準となる像倍率として取得することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記画像処理手段は、前記ピント位置が異なる複数の画像のそれぞれが撮像される間に、前記表示手段に表示される画像を補正することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御手段は、前記初めに撮像された画像に対応する像倍率よりも、像倍率が大きくなる方向にピント位置が動いた場合に、警告を出すことを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１３】
前記ピント位置を変化させるためのレンズと、
前記レンズの固有情報であるレンズの情報を取得する取得手段を有し、
前記制御手段は、前記取得手段が取得した前記レンズの情報と、設定したピント位置とに基づいて、前記像倍率が大きくなる方向を判定することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記画像処理手段は、前記ピント位置が異なる複数の画像のそれぞれの画像からコントラストを求め、該コントラストに基づいて、前記ピント位置が異なる複数の画像を合成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
撮像手段と、前記撮像手段で生成された画像を表示する表示手段と、前記撮像手段で生成されたピント位置が異なる複数の画像を合成する画像処理手段と、を備えた撮像装置の制御方法であって、
前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得するステップと、
前記表示手段に表示される画像に対応する像倍率と前記基準となる像倍率に基づいて、前記表示手段に表示される画像を補正するステップと、
を有することを特徴とする制御方法。
【請求項１６】
撮像手段と、前記撮像手段で生成された画像を表示する表示手段と、前記撮像手段で生成されたピント位置が異なる複数の画像を合成する画像処理手段と、を備えた撮像装置の制御方法をコンピュータに動作させるプログラムであって、
前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得するステップと、
前記表示手段に表示される画像に対応する像倍率と前記基準となる像倍率に基づいて、前記表示手段に表示される画像を補正するステップと、
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の表示に関するものであり、特にピント位置の異なる画像を撮像するときの表示に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置からの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置を変化させて複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する技術が開示されている。
【０００３】
しかし、デジタルカメラなどの撮像装置のライブビュー表示を用いて上述の撮像を行うとき、レンズの繰り出し量の変化などため、撮像画像の画角は、ピント位置の変化に伴い変わってしまう場合がある。合成画像を生成するために、画角の最も狭い撮像画像の画角に合わせてほかの撮像画像に対して切り出し処理をする必要があり、撮像中のライブビュー画像の画角と合成画像との画角が異なる可能性がある。
【０００４】
特許文献２には、本撮像を行う前に、簡易的なプレ撮像および画像処理を通じ、確認用の画像データを生成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２１６５３２号公報
【特許文献２】特開２０１５−２３１０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述する特許文献２に記載の方法を用いては、本撮像の前にプレ撮像を行わなければならず、撮像者にとって面倒のみならず、撮像動作の全体の時間が延びてしまう。
【０００７】
本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を撮像し、利便性良く、合成画像の画角を確認できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は撮像手段と、前記撮像手段で生成された画像を表示する表示手段と、前記撮像手段で生成されたピント位置が異なる副臼の画像を合成する画像処理手段と、制御手段と、を有し、前記制御手段は、前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率に基づいて、前記表示手段に表示される画像を補正することを特徴とする撮像装置を提供する。
【発明の効果】
【０００９】
本発明の撮像装置によれば、ピント位置の異なる複数の画像に対して合成を行うとき、利便性良く、合成画像の画角を確認できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図２】第１の実施形態を説明するためのフローチャートである。
【図３】第１の実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。
【図４】第１の実施形態における最大設定像倍率とＬＶ像倍率を説明するための図である。
【図５】被写体の距離情報を取得可能な撮像素子を構成するセンサのアレイの一例を説明するための図である。
【図６】複数の光電変換部を有する画素における光信号の入射を説明するための図である。
【図７】複数の光電変換部を有する画素を用いて被写体の距離情報を取得する方法について説明するための図である。
【図８】第２の実施形態を説明するためのフローチャートである。
【図９】（ａ）は、像倍率の単調減少を示す図であり、（ｂ）は、像倍率の単調増加を示す図である。
【発明を実施するための形態】
【００１１】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１２】
（第１の実施形態）
図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。
【００１３】
制御回路１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出して、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御回路１０１が、後述する撮像素子１０４に対して撮像の開始と終了について指令を出す。また、後述する画像処理回路１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部材１１０によってデジタルカメラ１００に入力され、制御回路１０１を通して、デジタルカメラ１００の各部分に達する。
【００１４】
駆動機構１０２は、モーターなどによって構成され、制御回路１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御回路１０１の指令に基づいて、駆動機構１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。
【００１５】
光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。フォーカスレンズの位置を変えることによって、ピント位置を変えることができる。
【００１６】
撮像素子１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像素子１０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。
【００１７】
ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１８】
画像処理回路１０７は、撮像素子１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像素子１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００１９】
画像処理回路１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御回路１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御回路１０１が画像処理回路１０７の機能の一部または全部を兼用するようにしてもよい。制御回路１０１が画像処理回路１０７の全ての機能を兼用する場合には、画像処理回路１０７をハードウェアとして有する必要はなくなる。
【００２０】
ディスプレイ１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。ディスプレイ１０８は、撮像素子１０４が取得する画像を表示画像としてリアルタイムに反映し、いわゆるライブビュー表示することができる。
【００２１】
内蔵メモリ１０９は、撮像素子１０４が撮像した画像や画像処理回路１０７の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【００２２】
操作部材１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、ディスプレイ１０８に兼用されるタッチパネルなどである。ユーザが操作部材１１０を用いて入力した指令は、制御回路１０１に達し、この指令に応じて制御回路１０１は各ブロックの動作を制御する。
【００２３】
図２は、本実施形態を説明するためのフローチャートである。まず、図２（ａ）に基づいて、本実施形態について説明する。
【００２４】
ステップＳ２０１で、制御回路１０１は、レンズの情報を取得する。たとえば、レンズ交換可能でないデジタルカメラにおいては、レンズの情報を予めＲＯＭ１０５に保存し、Ｓ２０１において、制御回路１０１がレンズの情報を取得する。または、レンズ交換可能なデジタルカメラの場合、制御回路１０１は、光学系１０３に設けられたマウントなどを通じて、レンズの種類を読み出す。レンズの種類ごとの情報を予めＲＯＭ１０５に保存し、制御回路１０１は、読み出したレンズの種類と照らし合わせ、ＲＯＭ１０５から該当するレンズの情報を読み出す。なお、ここでいうレンズの情報とは、後述するレンズを使用するときのピント位置と像倍率との関係などのレンズの固有情報を指す。
【００２５】
本実施形態においては、制御回路１０１は、レンズの情報に含まれるピント位置と像倍率との関係を示す関数を読み出す。画像の像倍率と画角とは反比例するので、制御回路１０１は、ピント位置と像倍率との関係を示す関数よりピント位置と画角との関係を示す関数を得ることもできる。一般的に、ピント位置と像倍率との関係を示す関数は、レンズの種類によって一意に定まり、その関数は単調変化である。なお、ここでいう像倍率は、撮像素子に結像された被写体像の大きさと、実際の被写体の大きさの比を指す。
【００２６】
図３は、本実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。図３で示した関数においては、像倍率はピント位置に対して単調減少である。
【００２７】
ステップＳ２０２は、制御回路１０１は、複数のピント位置の設定を行う。たとえば、ユーザがタッチパネルを通じて、焦点領域を設定し、光学系１０３はその焦点領域に相当するピント位置を測定する。制御回路１０１は、測定したピント位置の前後に、所定数のピント位置を設定する。制御回路１０１は、互いの被写界深度の端部が少し重複するように、隣接するピント位置間の距離を設定することが好ましい。
【００２８】
ステップＳ２０３では、制御回路１０１は像倍率の算出を行う。ステップ２０３では、制御回路１０１は、ステップＳ２０１で取得したピント位置と像倍率との関係を示す関数を用い、ステップＳ２０２で設定した各々のピント位置に対応する像倍率を算出する。たとえば、図３に示したように、制御回路１０１は、ステップＳ２０２で、ピント位置３０１乃至３０４を設定する。図３に示した関数によれば、光学系１０３がピント位置３０１乃至３０４にピントを合わせたときに、撮像素子１０４が撮像する画像の像倍率がそれぞれ像倍率３１１乃至３１４であることがわかる。
【００２９】
ステップＳ２０４で、制御回路１０１は、最大設定像倍率とライブビュー像倍率（以下、ＬＶ像倍率と称す）との比較を行う。ここでの最大設定像倍率とは、ステップＳ２０３で算出した像倍率の中で最も大きいものであって、基準となる像倍率を指す。ＬＶ像倍率とは、ディスプレイ１０８がライブビュー表示の際に設定されているピント位置に対応する像倍率を指す。
【００３０】
ステップＳ２０４で、制御回路１０１は、最大設定像倍率がＬＶ像倍率より大きいと判断した場合、ステップＳ２０５に進み、そうでないとステップＳ２０６に進む。
【００３１】
図４は、本実施形態における最大設定像倍率とＬＶ像倍率を説明するための図である。図４（ａ）はＬＶ像倍率の画像の画角を示し、図４（ｂ）は最大設定像倍率の画像の画角を示す。図４（ａ）に示した画像４０１の画角は図４（ｂ）に示した画像４０２の画角より広く、図４（ａ）に示した枠４０３の部分の画角は、画像４０２の画角に相当する。したがって、制御回路１０１は、画像４０１と画像４０２を用いて合成しようとすると、画像４０１の枠４０３より外の部分を切り捨てなければならなく、作成した合成画像で、枠４０３より外の部分がなくなる。ディスプレイ１０８は、画像４０１をそのまま用いてライブビュー表示を行うと、枠４０３より外の部分が表示されるにもかかわらず、合成画像にはその部分が含まれないという課題が起きる。この課題を解決するために、制御回路１０１は最大設定像倍率がＬＶ像倍率より大きいと判断した場合、ディスプレイ１０８は、画像４０１の枠４０３より外の部分をライブビュー表示させないように、ライブビュー画像の補正を行う。具体的には、ステップＳ２０５で画像処理回路１０７は、図４（ａ）に示した画像４０１に対して、枠４０３内の部分を切り出し、画像４０１の元のサイズまで拡大処理を行う。
【００３２】
ステップＳ２０６で、ディスプレイ１０８は、ライブビュー画像の表示を行う。ステップＳ２０５で画像処理回路１０７がライブビューの補正を行った場合、ステップＳ２０６では、ディスプレイ１０８は補正前の画像でなく、補正後の画像を表示画像としてライブビュー表示を行う。
【００３３】
ステップＳ２０７は、制御回路１０１は、ユーザの操作部材１１０に設けたボタン操作などの、撮像開始の指示があるかどうかを判断する。撮像開始の指示があれば、ステップＳ２０７に進み、撮像開始の指示がなければ、ステップＳ２０８に進む。ステップＳ２０８で、制御回路１０１は、ピント位置の再設定を行うかどうかについて判断する。ピント位置の再設定を行う場合、ステップＳ２０２に戻り、ピント位置の再設定を行わない場合、ステップＳ２０４に戻る。
【００３４】
たとえば、デジタルカメラ１００が、被写体の位置に合わせて、リアルタイムにピント位置を変える追尾モードで撮像を行う場合、ピント位置もリアルタイムに変える必要がある。このような場合、ステップＳ２０７で撮像開始の指示がなければ、ステップＳ２０２に戻り、ピント位置をもう一度設定する必要がある。一方で、最初にステップＳ２０２でデジタルカメラ１００から所定の距離にピント位置を設定し、その後変えない場合では、ピント位置を再度設定する必要がない。したがって、このような場合、ステップＳ２０７で撮像開始の指示がなければ、ステップＳ２０２でなくステップＳ２０４に戻る。
【００３５】
ステップＳ２０９では、ステップＳ２０２で設定した複数のピント位置のそれぞれで撮像素子１０４を用いて本撮像を行う。
【００３６】
ステップＳ２１０で、画像処理回路１０７はステップＳ２０９で本撮像した画像を用いて合成を行う。合成の方法の一例は以下で簡単に述べる。画像処理回路１０７は各画像から得られたコントラスト値を用いて合成ＭＡＰを生成する。具体的には、各々の着目領域あるいは画素において、複数の画像のうち、画像のコントラスト値が最も高くなる画像の合成比率を１００％とし、それ以外の画像を０％とする。なお、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成ＭＡＰに対して所定の画素数（タップ数）を持つローパスフィルタをかけることで、隣接画素間で合成比率が急激に変化しないように合成ＭＡＰを加工する。また、着目領域あるいは画素における各画像のコントラスト値に基づいて、コントラスト値の高い画像ほど合成比率が高くなるような合成ＭＡＰを作成してもよい。
【００３７】
このように、第１の実施形態によれば、合成画像の画角を考慮し、撮像時のライブビュー表示を補正し、合成画像の画角に相当する画角を撮像時にユーザに表示することができる。
【００３８】
なお、ステップＳ２０２の説明において、ユーザがタッチパネルを通じて設定した焦点領域のピント位置を基準として、所定数のピント位置を設定するとしたが、これに限られるものではない。基準となるピント位置が設定された被写体が占める領域を画像から判別し、この領域における距離情報に基づいて、複数のピント位置を設定するようにしてもよい。
【００３９】
図５は、被写体の距離情報を取得できる撮像素子１０４を構成するセンサのアレイの一例を説明するための図である。図５（ａ）に、画素５００が、互いに独立に光信号を読み取れる２つの光電変換部５０１と５０２を有する場合の構造を示す。それぞれの画素が有する光電変換部の数は２つに限られるものではなく、３つ以上であってもよい。たとえば、図５（ｂ）に、画素５１０が、４つの光電変換部５１１乃至５１４を有する構造を示す。以下の記述では、１つの画素が２つの光電変換部を有する構造に基づいて説明する。
【００４０】
図６は、複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。
【００４１】
図６では、画素アレイ６０１が、マイクロレンズ６０２と、カラーフィルタ６０３と、光電変換部６０４および６０５を備えている。光電変換部６０４と６０５とは、同じ画素に属し、共通するマイクロレンズ６０２とカラーフィルタ６０３に対応する。図６はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部６０４と６０５が左右に並んで配置されていることを示している。射出瞳６０６から出る光束のうち、光軸６０９を境にして、上側の光束（領域６０７からの光束に相当）は光電変換部６０５に入射し、下側の光束（領域６０８からの光束に相当）は光電変換部６０４に入射する。つまり、光電変換部６０４と６０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部６０４が受光した信号をＡ像、光電変換部６０５で受光した信号をＢ像とすると、Ａ像とＢ像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子１０４の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子１０４が、被写体の任意の場所の距離情報を得ることができる。
【００４２】
図７は本実施形態における複数の光電変換部を有する画素を用いて被写体の距離情報を取得する方法を説明するための図である。図７（ａ）では、見やすくするために、画面に５×５合計２５個の画素を示すが、実際の画素はもっと小さく、数が多い。画素７０１のように、被写体と重畳する画素は実線、そうでない画素は、画素７０２のように、点線で描かれる。すべての実線の画素に対して上述するように距離情報を取得すると、被写体全体の距離情報を取得できる。
【００４３】
以下では、本実施形態におけるステップＳ２０２でのピント位置の設定について説明する。ユーザが被写体の一部である領域７０３を指定するため、操作部材１１０に含まれるタッチパネルを用いてタッチ操作を行う。このタッチ操作によって領域７０３が選択されると、制御回路１０１は、領域７０３が属している被写体の全体領域７０４を検出する。たとえば、制御回路１０１は、画像処理回路１０７を通じて画像中の色情報を分析し、色情報より被写体を検出する。または、制御回路１０１は、画像処理回路１０７を通じて、画像中のエッジ情報や距離情報取得してからそれらを元に被写体の全体領域７０４の検出を行ってもよい。
【００４４】
続いて、前述したように、図７（ａ）の画素７０１のような被写体の全体領域７０４と重畳する画素の距離情報を取得する。制御回路１０１は、取得した距離情報の中で、最も遠い被写体の距離にあたるところに、ピント位置を設定すると同時に、最も近い被写体の距離にあたるところにも、ピント位置を設定する。この２つのピント位置の間に、等間隔配置などの予め定められた方法で、いくつかのピント位置を設定する。
【００４５】
（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、制御回路１０１が自動的にピント位置を設定するのでなく、ユーザがマニュアル操作でピント位置を動かして撮像を行う。以下では、第２の実施形態について説明する。なお、第１の実施形態と同様な構成については説明を省略する。
【００４６】
図８は本実施形態を説明するためのフローチャートである。
【００４７】
ステップＳ８０１は、第１の実施形態のステップＳ８０２と同様に、制御回路１０１がレンズの情報の取得を行う。
【００４８】
ステップＳ８０２で、制御回路１０１は、像倍率が単調減少か単調増加かを判断する。図９（ａ）は、本実施形態における像倍率が単調減少である様子を示す図であり、図９（ｂ）は、本実施形態における像倍率が単調増加である様子を示す図である。制御回路１０１は、ステップＳ８０１で取得したレンズの情報に基づいて、像倍率とピント位置との関係を示す関数を分析する。図９（ａ）の曲線９０１ように、像倍率はピント位置が遠くなるにつれ、常に減少するのであれば、制御回路１０１は、像倍率が単調減少と判断する。逆に、図９（ｂ）の曲線９１１ように、像倍率はピント位置が遠くなるにつれ、常に増加するのであれば、制御回路１０１は、像倍率が単調増加と判断する。ステップＳ８０２で、制御回路１０１は像倍率が単調減少と判断すれば、ステップＳ８０３へ、単調増加と判断すれば、ステップＳ８０４へ進む。
【００４９】
ステップＳ８０３で、制御回路１０１は、ピント位置の駆動方向を無限遠側に制限する。つまり、制御回路１０１は、後述するステップＳ８０６の本撮像開始後は、ピント位置の移動は図９（ａ）のように矢印９０４に沿ってピント位置９０２からピント位置９０３へ向かう方向に制限する。ピント位置が矢印９０４と逆の方向に移動すれば、後述するように警告を出す。
【００５０】
ステップＳ８０４で、制御回路１０１は、ピント位置の駆動方向を至近側に制限する。つまり、制御回路１０１は、本撮像開始後は、ピント位置の移動は図９（ｂ）のように矢印９１４に沿ってピント位置９１３からピント位置９１２へ向かう方向に制限し、ピント位置が矢印９１４と逆の方向に移動すれば、後述するように警告を出す。
【００５１】
ユーザは光学系１０３のピント位置を調整し、初期のピント位置に移動させる。ここでの初期のピント位置は、ユーザがライブビューまたは電子ファインダーを通じて被写体のボケ具合を注視しながら、任意な位置に設定することができる。ステップＳ８０５で、制御回路１０１は、ユーザから１枚目の本撮像の指示があったかどうかを判定し、本撮像の指示があればステップＳ８０６に進み、なければステップＳ８０５で待機する。
【００５２】
ステップＳ８０６で、撮像素子１０４が、初期のピント位置で本撮像を行い、制御回路１０１は、このピント位置に対応する像倍率を取得する。ここで制御回路１０１が取得した像倍率は、第１の実施形態における「最大設定像倍率」に相当する。
【００５３】
ステップＳ８０７で、制御回路１０１は、ユーザがピント位置をステップＳ８０３またはＳ８０４で制限した方向へ移動させているかどうかを判断する。たとえば、制御回路１０１は、ステップＳ８０２で像倍率が単調減少と判断し、ステップＳ８０３でピント位置の駆動方向を無限遠側に制限した場合、ピント位置が至近側へ移動していれば、ステップＳ８０７でディスプレイ１０８が警告を表示する。または、ディスプレイ１０８はステップＳ８０８で、ライブビュー画像を表示し、表示したライブビュー画像の上に警告を表示する。もしくは、デジタルカメラ１００は警告音などを利用して警告を出してもよい。逆に、ステップＳ８０７で、ピント位置が無限遠側へ移動していれば、ステップＳ８０９に進む。
【００５４】
ステップＳ８０９で、画像処理回路１０７は、ライブビュー画像の補正を行う。ステップＳ８０７でピント位置の移動方向を制限することにより、ライブビュー画像の画角は初期のピント位置で本撮像した画像の画角より大きくなる。そのため、第１の実施形態のステップＳ２０５と同様に、画像処理回路１０７は、合成画像に表示されない部分を切り捨てるための拡大処理を行う。具体的な方法は、ステップＳ２０５と同様のため、省略する。
【００５５】
ステップＳ８１０で、ディスプレイ１０８は、ステップＳ８０９で画像処理回路１０７が補正した後のライブビュー画像を表示する。
【００５６】
ステップＳ８１１で、制御回路１０１は、操作部材１１０にユーザによる本撮像の指示があるかどうかを判断する。たとえば、ユーザが操作部材１１０に設けるボタンを押したかどうかを判断する。撮像の指示があれば、ステップＳ８１２に進み、撮像素子１０４が撮像し、撮像の指示がなければ、ステップＳ８０７に戻る。
【００５７】
ステップＳ８１２で撮像素子１０４が本撮像した後、ステップＳ８１３、制御回路１０１は、撮像終了の指示があるかどうかについて判断する。ここで、たとえば、ユーザがステップＳ８１１でのボタンと別のボタンを押したかどうかを判断する。または、ユーザがタッチパネルを通じて、撮像終了の指示を与えたかどうか判断する。もしくは、ユーザが予め撮像枚数を定め、ステップＳ８１３で制御回路１０１は、定められた撮像枚数の画像を本撮像したかどうかについて判断し、定められた撮像枚数に達した場合は、撮像終了と判断する。ステップＳ８１３、制御回路１０１は、撮像終了と判断した場合は、ステップＳ８１４に進み、撮像終了でないと判断した場合は、ステップＳ８０７に戻る。
【００５８】
ステップ８１４で、画像処理回路１０７はステップＳ８０６およびＳ８１２で撮像素子１０４が本撮像した複数の画像を用いて合成を行う。合成の方法はステップＳ２０９と同様である。
【００５９】
なお、以上の記述は、本実施形態の一例にすぎず、本実施形態は様々な変形をすることができる。たとえば、上記のステップＳ８０８で制御回路１０１は、ピント位置が制限方向でない方向に移動するときのみならず、ピント位置が隣接のピント位置の被写体深度の外に移動したときにも警告を出すように実施してもよい。または、第２の実施形態の図５に示したような画素５００を持つ場合、第２の実施形態と同様に被写体検出を行い、ピント位置が光軸方向での被写体の距離の範囲から出ると、制御回路１０１は、警告を出すように実施してもよい。
【００６０】
第２の実施形態によれば、ユーザがマニュアルで複数のピント位置で本撮像するとき、ピント位置の移動方向を制限することにより、初期のピント位置でユーザに合成画像に相当する画角を表示することができる。
【００６１】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
【００６２】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６３】
１００  デジタルカメラ
１０１  制御回路
１０２  駆動機構
１０３  光学系
１０４  撮像素子
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  画像処理回路
１０８  ディスプレイ
１０９  内蔵メモリ
１１０  操作部材
【図１】
2018101951.tif 000003
【図２】
2018101951.tif 000004
【図３】
2018101951.tif 000005
【図４】
2018101951.tif 000006
【図５】
2018101951.tif 000007
【図６】
2018101951.tif 000008
【図７】
2018101951.tif 000009
【図８】
2018101951.tif 000010
【図９】
2018101951.tif 000011