(57)【要約】【課題】高密化処理を行う場合において、高解像度領域を含む狭角画像の最適な焦点距離を簡単に算出できるようにする。【解決手段】広角画像を取得する第１の取得手段と、前記広角画像を撮影した撮像光学系の可動範囲に基づいて、前記広角画像の一部の領域を含む狭角画像の焦点距離を算出する算出手段と、前記算出手段によって算出された焦点距離で前記狭角画像を取得する第２の取得手段と、前記広角画像と前記狭角画像とを合成して前記広角画像の一部の領域を高解像度化した合成画像を得る合成手段と、を有する。【選択図】図１
2020043475.tif 000002
【特許請求の範囲】
【請求項１】
広角画像を取得する第１の取得手段と、
前記広角画像を撮影した撮像光学系の可動範囲に基づいて、前記広角画像の一部の領域を含む狭角画像の焦点距離を算出する算出手段と、
前記算出手段によって算出された焦点距離で前記狭角画像を取得する第２の取得手段と、
前記広角画像と前記狭角画像とを合成して前記広角画像の一部の領域を高解像度化した合成画像を得る合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記広角画像の一部の領域として、ユーザーの指示に基づいて高解像度化を行う領域を設定する設定手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記広角画像の一部の領域として、エッジ量に基づいて高解像度化を行う領域を設定する設定手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記算出手段によって算出された焦点距離が所定値未満である場合に、前記高解像度化を行う領域の再設定を促す通知を行う通知手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記算出手段によって算出された焦点距離が所定値未満である場合に、前記設定手段は、前記高解像度化を行う領域の再設定を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記算出手段は、前記撮像光学系の可動範囲に基づいて画角が移動する範囲に前記高解像度化を行う領域を包含するように前記狭角画像の焦点距離を算出することを特徴とする請求項２〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記撮像光学系の可動範囲は、シフトレンズの駆動範囲に基づく範囲であることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記撮像光学系の可動範囲は、手振れ量に基づく範囲であることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項９】
前記算出手段は、前記狭角画像の撮影枚数の上限に収まるように前記狭角画像の焦点距離を算出することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１０】
前記算出手段は、レンズの光学特性に基づいて前記狭角画像の焦点距離を算出することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１１】
前記算出手段は、手振れに伴う露光時間の上限に収まるように前記狭角画像の焦点距離を算出することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１２】
広角画像を取得する第１の取得工程と、
前記広角画像を撮影した撮像光学系の可動範囲に基づいて、前記広角画像の一部の領域を含む狭角画像の焦点距離を算出する算出工程と、
前記算出工程において算出された焦点距離で前記狭角画像を取得する第２の取得工程と、
前記広角画像と前記狭角画像とを合成して前記広角画像の一部の領域を高解像度化した合成画像を得る合成工程と、
を有することを特徴とする画像処理方法。
【請求項１３】
広角画像を取得する第１の取得工程と、
前記広角画像を撮影した撮像光学系の可動範囲に基づいて、前記広角画像の一部の領域を含む狭角画像の焦点距離を算出する算出工程と、
前記算出工程において算出された焦点距離で前記狭角画像を取得する第２の取得工程と、
前記広角画像と前記狭角画像とを合成して前記広角画像の一部の領域を高解像度化した合成画像を得る合成工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、広角画像内の所定領域を高解像度化した合成画像を得るために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、１枚の広角画像を撮影し、その広角画像内の所定領域を高解像度化する処理が提案されている。この処理は、例えば撮影領域を徐々にずらしながら、ズーム撮影した複数の狭角画像を取得し、これらの狭角画像をつなぎ合わせた後、広角画像の対応位置に合成することで実現できる。以下、このような高解像度化する処理を、高密化処理と呼ぶ。
【０００３】
高密化処理の技術としては、特許文献１には、広角画像と狭角画像とを取得し、狭角画像を広角画像に位置合わせしてから合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６４２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の高密化処理では、狭角画像を得る焦点距離をどのように設定するのかが不明である。得られる合成画像の解像度を重視するのであれば、最も解像度の高いズームポジション（焦点距離）で狭角画像を撮影することが望ましい。
【０００６】
一方で、撮影領域をずらすためには撮像光学系を何らかの方法で変更することが必要であり、可動範囲には制限がある場合が一般的である。従って、可動範囲の制限内で高密化処理を行いたい領域をカバーできる程度の焦点距離を設定する必要がある。さらに、高密化処理を行いたい領域も、画像によって異なる。以上の理由により、高密化処理に最適な狭角画像の焦点距離は、撮影条件や撮影画像により異なるため、簡単に最適な焦点距離を算出することができない。
【０００７】
本発明は前述の問題点に鑑み、高密化処理を行う場合において、高解像度領域を含む狭角画像の最適な焦点距離を簡単に算出できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、広角画像を取得する第１の取得手段と、前記広角画像を撮影した撮像光学系の可動範囲に基づいて、前記広角画像の一部の領域を含む狭角画像の焦点距離を算出する算出手段と、前記算出手段によって算出された焦点距離で前記狭角画像を取得する第２の取得手段と、前記広角画像と前記狭角画像とを合成して前記広角画像の一部の領域を高解像度化した合成画像を得る合成手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高密化処理を行う場合において、高解像度領域を含む狭角画像の最適な焦点距離を簡単に算出することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る撮像装置の内部構成例を示すブロック図である。
【図２】高密化モードでの処理手順の一例を示すフローチャートである。
【図３】広角画像における高解像度化領域を説明するための図である。
【図４】第１の実施形態における狭角画像の焦点距離を算出する詳細な処理手順の一例を示すフローチャートである。
【図５】シフトレンズの駆動範囲の例を示す模式図である。
【図６】狭角画像の撮影画角の移動範囲を示す模式図である。
【図７】高密化合成処理の詳細な手順の一例を示すフローチャートである。
【図８】合成処理を説明するための図である。
【図９】第２の実施形態における狭角画像の焦点距離を算出する詳細な処理手順の一例を示すフローチャートである。
【図１０】ピッチ方向およびヨー方向の手振れに基づく可動範囲を説明するための図である。
【図１１】狭角画像の焦点距離に対する制約事項を説明するための図である。
【図１２】第３の実施形態における狭角画像の焦点距離を算出する詳細な処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。本実施形態では、広角画像内の高密化処理を行いたい領域に対し、三脚固定した撮像装置の光学系を防振処理用のシフトレンズで駆動させ、複数枚の狭角画像を取得する。そして、これらの狭角画像を合成することで、所望の領域が高解像度化された合成画像を取得する。以下、このような処理を実現する撮影モードを、高密化モードと呼ぶ。
【００１２】
図１は、本実施形態に係る撮像装置１００の内部構成例を示すブロック図である。
図１において、光学系１０１は、ズームレンズ、フォーカスレンズ、およびシフトレンズから構成されるレンズ群、絞り調整装置、およびシャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量が光学系制御部１０５によって調整される。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。
【００１３】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像信号に変換する。画像処理部１０４は、通常の信号処理の他に、高密化モードでは、高解像度化領域の検出処理、適切な焦点距離の算出、および高密化処理を行う。光学系制御部１０５は、光学系１０１に対し、特にシフトレンズの位置およびズームポジションを制御する。
【００１４】
システム制御部１０６は、本実施形態に係る撮像装置１００全体の動作を制御し、統括する制御機能部であり、操作部１０７から入力された指示に基づいて、光学系１０１や撮像部１０２の駆動制御や、画像処理部１０４における所定の画像処理の制御を行う。
【００１５】
表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像や、記録部１０９から読み出した画像を表示する。記録部１０９は、画像のデータを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含む。なお、情報記録媒体を着脱可能であってもよい。バス１１０は、画像処理部１０４、光学系制御部１０５、システム制御部１０６、表示部１０８、および、記録部１０９の間で画像信号をやり取りするために用いられる。
【００１６】
図２は、高密化モードでの処理手順の一例を示すフローチャートである。以下、図２の各処理について、図面を用いながら説明する。
まず、ステップＳ２０１において、画像処理部１０４は、撮像部１０２等を介して広角画像を取得する。ここで、広角画像は、図３に示すように、ユーザーが撮影したい画角での画像３０１を表し、本実施形態では、高解像度化に適した被写体を含む風景画像を想定する。高密化モードでは、狭角画像の撮影に先立って、広角画像の撮影を行うものとする。
【００１７】
次に、ステップＳ２０２において、画像処理部１０４は、高解像度化領域を設定する。ここでは、操作部１０７を介してユーザーが高解像度化を行いたい領域を直接指定する。本実施形態では、図３に示すように、広角画像の一部で、家屋が密集している領域が高解像度化領域３０２として指定されたものとする。また、ユーザーによる指定ではなく、画像処理部１０４側でエッジ量などを抽出して高解像度化領域を設定するようにしてもよい。
【００１８】
次に、ステップＳ２０３において、画像処理部１０４は、狭角画像の焦点距離を算出する。図４は、本実施形態の図２のステップＳ２０３における狭角画像の焦点距離を算出する詳細な処理手順の一例を示すフローチャートである。以下、図４を用いて、ステップＳ２０３における処理について詳細に説明する。
【００１９】
まず、ステップＳ４０１において、画像処理部１０４は、シフトレンズの駆動範囲の情報を取得する。図５は、シフトレンズの駆動範囲の例を示す模式図である。図５に示すように、本実施形態におけるシフトレンズは、光軸方向と垂直な面上を２次元的に駆動するものとする。従って、駆動軸Ａと駆動軸Ｂとの２軸でシフトレンズの位置が表現される。また、シフトレンズが初期位置から大きく動くと、一般に取得される像の画質が劣化するため、画質の許容限界から、シフトレンズの駆動範囲には制限が生じる。ここでいう画質とは、具体的には画像周辺部のＭＴＦ特性や収差、周辺光量落ち等である。本実施形態では、前述の２軸における駆動の最大値ＬｉｍＡおよびＬｉｍＢを取得することでシフトレンズの駆動範囲５０１を取得することができる。いずれも各レンズに固有の特性を持つため、駆動の最大値ＬｉｍＡおよびＬｉｍＢは、予め焦点距離ごとに設定されているものとする。
【００２０】
次に、ステップＳ４０２において、画像処理部１０４は、狭角画像の焦点距離を仮設定する。本実施形態では、最もＭＴＦ特性の良好な焦点距離を初期値に仮設定するものとする。
【００２１】
次に、ステップＳ４０３において、画像処理部１０４は、広角画像内における狭角画像の画角が移動する範囲を取得する。ここで、狭角画像の画角が移動する範囲とは、シフトレンズを駆動させることで、広角画像の画角のうち、狭角画像がどの程度の画角をカバーできるかどうかを示す範囲である。
【００２２】
図６は、狭角画像の撮影画角の移動範囲を示す模式図である。図６の点線で示した範囲は、図５で示した範囲をシフトレンズが駆動した場合に、取得される狭角画像の画角が移動する範囲６０１である。また、図６の実線で示す矩形は、１枚の狭角画像の画角の範囲６０２である。狭角画像の画角が移動する範囲６０１は、シフトレンズの駆動範囲およびズームポジションから一意に決まるものとする。
【００２３】
次に、ステップＳ４０４において、画像処理部１０４は、ステップＳ４０３で取得した狭角画像の画角が移動する範囲が、ステップＳ２０２で設定した高解像度化領域を包含しているか否かを判定する。この判定の結果、高解像度化領域を包含している場合は、現在設定している焦点距離で高密化処理が可能であるため、ステップＳ４０６に進む。
【００２４】
一方、高解像度化領域を包含していない場合は、現在設定している焦点距離では高密化処理が不可能であるため、ステップＳ４０５に進む。そして、ステップＳ４０５において、画像処理部１０４は、狭角画像の焦点距離を再設定する。ここで、焦点距離を再設定する際には、焦点距離をワイド側に所定量だけ移動させるか、同じ焦点距離でシフトレンズの駆動限界ＬｉｍＡ，ＬｉｍＢを所定量だけ広げるかの選択を行う。どちらを選択した場合にも、解像度が劣化するため、解像度の劣化具合からどちらの制御を行うかを判定する。その後、狭角画像の画角が移動する範囲が高解像度化領域を包含するようになるまで、ステップＳ４０３及びＳ４０４の処理を繰り返す。
【００２５】
最後に、ステップＳ４０６において、画像処理部１０４は、現在設定されている焦点距離を、狭角画像の焦点距離として設定する。図４の処理によって、撮影シーン及び撮像装置の制約に応じた最適な高密化処理の焦点距離を算出することができる。
【００２６】
図２の説明に戻り、次に、ステップＳ２０４において、画像処理部１０４は、撮像部１０２等を介して複数の狭角画像を取得する。この処理では、シフトレンズを徐々に駆動させながら順次狭角画像を撮影することで、画角の異なる複数の狭角画像を取得する。撮影時におけるシフトレンズの駆動範囲は、取得される狭角画像の画角が、少なくとも高解像度化領域を包含するように設定されるものとする。また、シフトレンズの駆動指示は、光学系制御部１０５で行われるものとする。
【００２７】
次に、ステップＳ２０５において、広角画像と前記取得した複数の狭角画像を用いて高密化合成処理を行う。図７は、図２のステップＳ２０５における高密化合成処理の詳細な手順の一例を示すフローチャートである。以下、図７を用いて、高密化合成処理について詳細に説明する。
【００２８】
まず、ステップＳ７０１において、画像処理部１０４は、最初に撮影した１枚の広角画像と、ステップＳ２０４で取得した複数枚の狭角画像の中の任意の１枚とを選択する。
【００２９】
次に、ステップＳ７０２において、画像処理部１０４は、選択した広角画像および狭角画像に対し、それぞれ光学補正を行う。ここで、光学補正とは、ＭＴＦ特性の調整、周辺光量落ち補正、歪補正及びその他の収差補正であり、広角画像と狭角画像とでそれぞれの焦点距離に対応したパラメータで補正処理を行う。本処理によって、２つの画像間の光学特性の違いに起因する画質差は補正される。
【００３０】
次に、ステップＳ７０３において、画像処理部１０４は、広角画像及び狭角画像の画像サイズを補正する。ここでは、ズーム倍率差の分だけ広角画像を拡大するものとする。例えば広角画像の焦点距離が２０ｍｍで、狭角画像の焦点距離が１００ｍｍの場合、広角画像サイズを縦横５倍する。
【００３１】
次に、ステップＳ７０４において、画像処理部１０４は、画像サイズが補正された広角画像と狭角画像の位置合わせを行う。位置合わせの手法については特に限定しないが、既に開示されている既存の技術として、複数の対応点から、位置合わせのための変換係数（例えば射影変換係数）を算出する処理などが挙げられる。
【００３２】
次に、ステップＳ７０５において、画像処理部１０４は、合成処理を行う。図８は、合成処理を説明するための図である。図８には、拡大された広角画像８０１に予め１枚目の狭角画像が合成されており、２枚目の狭角画像を合成する場合を示している。図８における領域Ａは、１枚目の狭角画像は存在するが２枚目の狭角画像が存在しない領域であり、領域Ｂは両方の狭角画像が存在する領域であり、領域Ｃは２枚目の狭角画像のみ存在する領域である。
【００３３】
まず、広角画像と狭角画像との合成処理としては、狭角画像の方が解像度は良好であるため、狭角画像を１００％用いる。従って、領域Ａでは１枚目の狭角画像が１００％用いられ、領域Ｃでは２枚目の狭角画像が１００％用いられる。合成処理においては、広角画像との連続性を考慮し、合成の際にある程度の余白領域を設け、徐々に合成比率を切り替えるなどの工夫があってもよいものとする。
【００３４】
次に、狭角画像同士の合成処理については、位置合わせ処理による幾何変形で多少の差異はあるが、いずれも同等の解像度を有しているものと考えられるため、両者を等しい割合で合成する。従って、領域Ｂでは、１枚目と２枚目の狭角画像をそれぞれ５０％ずつ合成する。また、合成画像が３枚以上に増えた場合でも、基本的には同様のアルゴリズムを適応させながら合成処理を実行する。
【００３５】
次に、ステップＳ７０６において、画像処理部１０４は、すべての狭角画像に対し合成処理を行ったか否かを判定する。この判定の結果、すべての狭角画像に対して合成処理が行われた場合は、高密化合成処理は完了となる。
【００３６】
一方、合成処理が行われていない狭角画像がまだある場合は、ステップＳ７０７に進む。そして、ステップＳ７０７において、画像処理部１０４は、次の狭角画像を選択する。そして、新たに選択された狭角画像を用いて、ステップＳ７０２以降の処理を繰り返す。本処理によって、高解像度化領域が狭角画像によって高解像度化された高密化画像が生成される。
【００３７】
最後に、ステップＳ２０６において、記録部１０９は、前述の処理によって生成された合成画像（高密化画像）を記録媒体に記録し、処理を終了する。
【００３８】
以上のように本実施形態によれば、撮影シーンの特徴と撮像装置の制約条件とから最適な狭角画像の焦点距離を簡単に設定することができ、より高品質な高密化画像を取得することができる。
【００３９】
（第２の実施形態）
前述の第１の実施形態では、撮像装置を三脚に固定し、シフトレンズを駆動させて画角の異なる狭角画像を取得するという構成であった。しかし、実際の撮影時に三脚が必須となる構成では、ユーザーに与える負担が大きくなるという懸念がある。そこで本実施形態では、シフトレンズではなく、手振れによる撮像装置の振動を利用し、手持ちでの連写撮影によって画角の異なる狭角画像を取得する例について説明する。
【００４０】
なお、本実施形態に係る撮像装置の構成は基本的には図１と同様であるため、説明は省略する。なお、第１の実施形態と異なる動作は、ステップＳ２０３の狭角画像の焦点距離を算出する処理である。以下、第１の実施形態と異なる点についてのみ説明する。本実施形態では、ステップＳ２０３の処理内容に着目して説明する。
【００４１】
図９は、本実施形態の図２のステップＳ２０３における狭角画像の焦点距離を算出する詳細な処理手順の一例を示すフローチャートである。図４との違いは、ステップＳ４０１ではシフトレンズの駆動範囲を取得していたのに対し、ステップＳ９０１では、画像処理部１０４が手振れ量を取得する点である。ここで、手振れには種々の種類があるが、本実施形態では簡単のため、光軸に対し垂直な軸を回転の中心とする、ピッチ方向およびヨー方向の手振れのみを取得するものとする。その他、ロール方向や並進方向の手振れを考慮してもよい。
【００４２】
図１０は、ピッチ方向およびヨー方向の手振れに基づく可動範囲を説明するための図である。システム制御部１０６は、撮像装置１００に付属したジャイロセンサー等で撮影者の手振れ履歴を予め記録しておく。そして、画像処理部１０４は、この手振れ履歴から期待できる手振れ量の最大値をそれぞれＬｉｍＰ，ＬｉｍＹとして取得する。この場合、ピッチ方向およびヨー方向の手振れ量を示す２次元座標系において、（−ＬｉｍＰ，−ＬｉｍＹ）〜（ＬｉｍＰ，ＬｉｍＹ）の矩形１００１が、手振れにより期待できる撮像装置１００の可動範囲となる。
【００４３】
なお、図９のステップＳ９０２〜Ｓ９０６の処理は、それぞれ図４のステップＳ４０２〜Ｓ４０６と同様の処理であるため、ここでの説明は省略する。ステップＳ９０２以降の処理では、シフトレンズの駆動範囲の代わりに手振れにより期待できる撮像装置１００の可動範囲を用いることになる。
【００４４】
また、手振れ量はその都度異なる値であるため、所望する高解像度化領域を、手振れによる画角ずらしでカバーできない場合があり得る。その場合、システム制御部１０６は、ユーザーに警告を出すなどの処理を行う。また、本実施形態では、シフトレンズは撮影時のあおりブレ補正用として利用する。これは、手持ちで望遠側の狭角画像を取得する場合、露光期間中の手振れにより撮影画像がぶれてしまい、狭角画像の品質が低下するからである。露光期間中には、手振れによる像のあおりを打ち消すようにシフトレンズが駆動し、狭角画像の手振れを低減するようにする。
【００４５】
以上のように本実施形態によれば、より高品質な高密化画像を、手持ちで撮影する場合であっても取得することができる。
【００４６】
（第３の実施形態）
前述の第１及び第２の実施形態では、シフトレンズまたは手振れ量を基に撮像光学系の可動範囲を算出し、算出した可動範囲に基づき狭角画像の焦点距離を算出していた。しかし、狭角画像の焦点距離を決定する要素は他にも複数考えられる。また、図４もしくは図９の処理によって決定された狭角画像の焦点距離が、結果的に広角画像の焦点距離に近づいてしまった場合には、本来目的としていた高密化処理の効果が下がってしまう。
【００４７】
そこで本実施形態では、焦点距離を算出する時に諸々の制約事項を加味し、さらに高密化処理の効果が期待できない場合の例外処理を行う例について説明する。なお、本実施形態に係る撮像装置の構成は基本的には図１と同様であるため、説明は省略する。以下、第１の実施形態と異なる点についてのみ説明する。
【００４８】
図１１は、狭角画像の焦点距離に対する制約事項を説明するための図である。図１１に示すように、望遠側では、以下に説明する諸々の制約により設定不可能な焦点距離が存在する。本実施形態では、制約として特に次の３点が挙げられる。
【００４９】
１点目は、撮影枚数の上限である。焦点距離が長くなると、高解像度化領域の画角に対し、狭角画像の画角は相対的に狭くなる。その場合、高解像度化領域をすべてカバーするために必要な狭角画像の枚数は多くなり、狭角画像の枚数が多くなるほど合成処理時に画像メモリの使用量が大きくなってしまう。従って、狭角画像の撮影枚数に上限が存在し、その上限に収まるよう、焦点距離の上限が発生する。
【００５０】
２点目は、光学特性に起因する上限である。一般的に狭角画像は、広角画像と比較して光学特性が異なり、さらに撮影画角も異なるため、画像位置合わせの際にこれらに起因する画質差を調整する必要がある。そして、狭角画像の焦点距離が長いほど画質差が大きくなる。画質差が生じる要因の一つが周辺光量落ちであり、広角画像と比較して狭角画像では極端に暗くなる箇所が発生し、ゲイン処理によって明るさを調整する必要が生じる。ゲイン処理に伴うノイズは狭角画像の画質を悪化させるため、画質調整で許容できる範囲で焦点距離に上限が存在する。
【００５１】
３点目は、手持ち撮影時における露光時間の上限である。望遠側の場合、露光時間中に手振れによって撮影画像の撮影像が大きくぶれる。このような現象は露光時間に上限を設けることで改善されるが、望遠側では一般的に入射光量が減少することから、撮影画像の明るさを保つために露光時間を長くする必要が生じる。以上の要因から、露光時間が上限値以内に収まるように、焦点距離の上限が存在する。
【００５２】
また、狭角画像の焦点距離が広角画像の焦点距離と比べて差が小さくなるほど、高密化処理の効果が見込めなくなる。そのため、狭角画像の焦点距離の下限が存在するといえる。以上のように本実施形態では、図１１に示すような設定可能領域において狭角画像の焦点距離を算出するようにする。
【００５３】
図１２は、本実施形態の図２のステップＳ２０３における狭角画像の焦点距離を算出する詳細な処理手順の一例を示すフローチャートである。図４に示す処理との大きな違いは、上述した制約に基づいて狭角画像の焦点距離の設定可能範囲を予め取得する処理（ステップＳ１２０２）が行われる点である。
【００５４】
図１２において、ステップＳ１２０１は図４のステップＳ４０１と同様である。そして、ステップＳ１２０２において、画像処理部１０４は、上述した制約に基づいて狭角画像の焦点距離の設定可能範囲を予め取得する。この処理では、図１１に示すように、焦点距離の設定可能な最大値Ｚmaxおよび最小値Ｚminを算出する。
【００５５】
次に、ステップＳ１２０３において、画像処理部１０４は、狭角画像の焦点距離を、設定可能な範囲で最も長い焦点距離である最大値Ｚmaxに仮設定する。ステップＳ１２０４〜Ｓ１２０７は、それぞれ図４のステップＳ４０３〜Ｓ４０６と同様であるため、説明は省略する。
【００５６】
次に、ステップＳ１２０８において、画像処理部１０４は、算出された狭角画像の焦点距離が最小値Ｚmin以上であるか否かを判定する。この判定の結果、焦点距離が最小値Ｚmin以上である場合は、問題なく撮影ができると判定し、本処理を終える。一方、焦点距離が最小値Ｚmin未満である場合は、高密化処理の効果が不十分となる可能性があるため、ステップＳ１２０９に進む。
【００５７】
ステップＳ１２０９において、画像処理部１０４は、例外処理を行う。高解像度化領域を算出していた場合は、領域が狭くなるように再度処理を行う。例えば、エッジ量に基づいて高解像度化領域を設定した場合は、画像処理部１０４はエッジ量の閾値を大きくして、ステップＳ２０２の高解像度化領域の設定を再度行う。一方、高解像度化領域がユーザーによって手動で指示されていた場合は、システム制御部１０６は、ユーザーに現在の設定では高密化処理が不可能である旨を表示部１０８から通知し、領域の再設定を促す。
【００５８】
以上のように本実施形態によれば、複数の要因から焦点距離の上限を設け、さらに焦点距離が所定値未満の場合は、効果不十分として例外処理を行うようにした。これにより、高品質な高密化画像が取得できる範囲で、より適切に狭角画像の焦点距離を設定することができる。
【００５９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６０】
１０４  画像処理部
１０６  システム制御部
【図１】
2020043475.tif 000003
【図２】
2020043475.tif 000004
【図３】
2020043475.tif 000005
【図４】
2020043475.tif 000006
【図５】
2020043475.tif 000007
【図６】
2020043475.tif 000008
【図７】
2020043475.tif 000009
【図８】
2020043475.tif 000010
【図９】
2020043475.tif 000011
【図１０】
2020043475.tif 000012
【図１１】
2020043475.tif 000013
【図１２】
2020043475.tif 000014