(57)【要約】      （修正有）【課題】広角画像内の所定領域を高解像度化する際に、移動体による画質の弊害を抑えることができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】撮像装置において、画像処理部１０４は、広角画像を取得する広角画像入力部と、広角画像の一部を含む狭角画像を取得する狭角画像入力部と、広角画像に狭角画像を合成する画像合成部と、広角画像と狭角画像とを比較して、狭角画像に含まれる移動体の領域を検出する検出手段及び検出手段によって検出された移動体の領域の影響度に基づいて合成手段によって合成する狭角画像を選択する選択手段を有する狭角画像使用判断部と、を備える。【選択図】図２
2020042486.tif 000002
【特許請求の範囲】
【請求項１】
広角画像を取得する第１の取得手段と、
前記広角画像の一部を含む狭角画像を取得する第２の取得手段と、
前記広角画像に前記狭角画像を合成する合成手段と、
前記広角画像と前記狭角画像とを比較して、前記狭角画像に含まれる移動体の領域を検出する検出手段と、
前記検出手段によって検出された移動体の領域の影響度に基づいて前記合成手段によって合成する狭角画像を選択する選択手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記影響度に基づいて前記狭角画像を合成に用いるか否かを判断する判断手段をさらに備え、
前記選択手段は、前記判断手段の判断結果に基づいて合成する狭角画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段により前記狭角画像を合成に用いないと判断された場合に、前記判断の対象となった画角の狭角画像を再撮影する指示を行う指示手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判断手段により前記狭角画像を合成に用いないと判断された場合に、前記判断の対象となった画角の狭角画像の代わりに広角画像を用いることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記移動体の領域の面積を算出する算出手段をさらに備え、
前記選択手段は、前記算出手段によって算出された面積に応じた影響度に基づいて合成する狭角画像を選択することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記選択手段は、前記検出手段によって検出された移動体の領域の位置に応じた影響度に基づいて合成する狭角画像を選択することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項７】
前記選択手段は、前記検出手段によって検出された移動体の領域の信号の差分値に応じた影響度に基づいて合成する狭角画像を選択することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項８】
前記第１の取得手段によって取得された広角画像、及び前記第２の取得手段によって取得された狭角画像に対し、帯域を揃えるためのフィルタ処理を行う調整手段をさらに備えることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記調整手段は、レンズ情報に基づいた帯域調整を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１の取得手段によって取得された広角画像、及び前記第２の取得手段によって取得された狭角画像に対し、レンズ情報に基づいた光学補正を行う補正手段をさらに備えることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１１】
前記狭角画像に対して、拡大された広角画像の位置に対応するように位置合わせを行う位置合わせ手段をさらに備えることを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
【請求項１２】
広角画像を取得する第１の取得工程と、
前記広角画像の一部を含む狭角画像を取得する第２の取得工程と、
前記広角画像に前記狭角画像を合成する合成工程と、
前記広角画像と前記狭角画像とを比較して、前記狭角画像に含まれる移動体の領域を検出する検出工程と、
前記検出工程において検出された移動体の領域の影響度に基づいて前記合成工程において合成する狭角画像を選択する選択工程とを備えることを特徴とする画像処理方法。
【請求項１３】
広角画像を取得する第１の取得工程と、
前記広角画像の一部を含む狭角画像を取得する第２の取得工程と、
前記広角画像に前記狭角画像を合成する合成工程と、
前記広角画像と前記狭角画像とを比較して、前記狭角画像に含まれる移動体の領域を検出する検出工程と、
前記検出工程において検出された移動体の領域の影響度に基づいて前記合成工程において合成する狭角画像を選択する選択工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、広角画像内の所定領域を高解像度化するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、１枚の広角画像を撮影し、広角画像内の所定領域を高解像度化する技術が知られている。この技術は、例えば撮影領域を徐々にずらしながらズーム撮影した複数の狭角画像を取得し、この複数の狭角画像をつなぎ合わせた後、広角画像の対応位置に合成することで実現できる。以下、この高解像度化する処理を高密化処理と呼ぶ。
【０００３】
高密化処理を行う技術としては、特許文献１には、広角画像と望遠画像（狭角画像）とを取得し、狭角画像を広角画像に位置合わせしてから合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６４２５８号公報
【特許文献２】特開２０１５−１３５６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された高密化処理では、撮影した狭角画像に局所的な移動体が写っていた場合、狭角画像同士、もしくは狭角画像と広角画像とで合成した画像で移動体が重なって合成されてしまう。これにより、多重像として画質に弊害を与えてしまうという問題がある。
【０００６】
本発明は前述の問題点に鑑み、広角画像内の所定領域を高解像度化する際に、移動体による画質の弊害を抑えることができるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、広角画像を取得する第１の取得手段と、前記広角画像の一部を含む狭角画像を取得する第２の取得手段と、前記広角画像に前記狭角画像を合成する合成手段と、前記広角画像と前記狭角画像とを比較して、前記狭角画像に含まれる移動体の領域を検出する検出手段と、前記検出手段によって検出された移動体の領域の影響度に基づいて前記合成手段によって合成する狭角画像を選択する選択手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、広角画像内の所定領域を高解像度化する際に、移動体による画質の弊害を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る撮像装置の内部構成例を示すブロック図である。
【図２】画像処理部の詳細な内部構成例を示すブロック図である。
【図３】狭角画像使用判断部の詳細な構成例を示すブロック図である。
【図４】狭角画像調整部の詳細な構成例を示すブロック図である。
【図５】広角画像調整部の詳細な構成例を示すブロック図である。
【図６】移動体領域評価部の詳細な構成例を示すブロック図である。
【図７】高密化処理の全体的な処理手順の一例を示すフローチャートである。
【図８】狭角画像使用判断部の詳細な処理手順の一例を示すフローチャートである。
【図９】狭角画像調整部の詳細な処理手順の一例を示すフローチャートである。
【図１０】広角画像調整部の詳細な処理手順の一例を示すフローチャートである。
【図１１】移動体領域評価部の詳細な処理手順の一例を示すフローチャートである。
【図１２】高密化処理の概要について説明するための図である。
【図１３】高密化処理を行う際の移動体の弊害を説明するための図である。
【図１４】合成処理及び合成処理マップを説明するための図である。
【図１５】移動体検出マップを生成する例を説明するための図である。
【図１６】第１〜第３の評価値のテーブルの例を示す図である。
【図１７】第２の評価値を算出する際の基準となる座標を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、まず、１枚の広角画像を撮影し、その後、広角画像で撮影された画角を高解像度化するために焦点距離を望遠側に制御した狭角画像を複数枚撮影し、これらを合成する高密化処理を行う。本実施形態では、高密化処理を行う際に、局所的な移動体の影響度を考慮して、合成に最適な狭角画像を選択するか、もしくは再撮影を行う。
【００１１】
ここで、図１２を参照しながら高密化処理の概要について説明する。例えば図１２（ａ）に示すような風景を撮影して高解像化した画像を取得したい場合には、まず、その風景を撮影し、図１２（ｂ）に示すような広角画像を取得する。
【００１２】
次に、図１２（ｃ）に示すように、焦点距離を長くして画角を変えながら、狭角画像を複数枚撮影する。本実施形態では、光学系のシフトレンズを動かして画角を大きく変更する手段を用いるが、自動雲台によってカメラを動かしたり、手持ちによる手振れを利用したりして画角を変えるようにしてもよい。最後に、図１２（ｄ）に示すように、広角画像の一部を含む複数枚の狭角画像を広角画像の位置に合わせて合成し、図１２（ｅ）に示すような高解像度画像を取得する。
【００１３】
続いて、図１３を参照しながら移動体の弊害について説明する。撮影する画角に移動体が含まれている場合、図１３（ａ）に示すように画角を変えながら狭角画像の撮影を行い、高解像度画像を生成すると、図１３（ｂ）に示すように多重像が発生する。このような多重像が発生する理由としては、狭角画像を合成する時に、図１３（ｃ）の合成する領域内に移動体が存在するからである。そこで本実施形態は、高密化処理を行う際に、前述した移動体の弊害を軽減することができる。
【００１４】
次に、本実施形態の撮像装置の構成について詳細に説明する。
図１は、本実施形態に係る撮像装置１００の内部構成例を示すブロック図である。以下、図１を参照しながら本実施形態に係る撮像装置１００の各構成について説明する。
【００１５】
図１において、光学系１０１は、ズームレンズ、フォーカスレンズ、およびシフトレンズから構成されるレンズ群と、絞り調整装置と、シャッター装置とを備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。
【００１６】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像信号に変換する。画像処理部１０４は、通常の信号処理の他に、高密化処理を行う。画像処理部１０４が行う高密化処理の詳細については後述する。光学系制御部１０５は、光学系１０１に対し、特にシフトレンズの位置およびズームポジションを制御する。
【００１７】
システム制御部１０６は、本実施形態の撮像装置１００全体の動作を制御、統括する制御機能部であり、操作部１０７から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御や、画像処理部１０４における所定の画像処理を行う。
【００１８】
表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像や、記録部１０９から読み出した画像を表示する。記録部１０９は、画像のデータを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。バス１１０は、画像処理部１０４、光学系制御部１０５、システム制御部１０６、表示部１０８、および記録部１０９の間で画像やその他の信号等をやり取りするために用いられる。
【００１９】
次に、図１の画像処理部１０４の詳細な構成について説明する。図２は、図１の画像処理部１０４の中の高密化処理を行うための詳細な内部構成例を示すブロック図である。
画像処理部１０４は、狭角画像入力部２０１、広角画像入力部２０２、狭角画像使用判断部２０３、広角画像記録部２０４、狭角画像現像部２０５、および広角画像現像拡大部２０６を備えている。さらに、再実写指示部２０７、狭角画像位置合わせ部２０８、画像合成部２０９、および中間合成画像記録部２１０を備えている。
【００２０】
図７は、高密化処理の全体的な処理手順の一例を示すフローチャートである。以下、図７のフローチャートを用いて、図２の画像処理部１０４内の処理の流れについて詳細に説明する。
【００２１】
ステップＳ７０１において、広角画像入力部２０２は、撮像部１０２を介して広角画像を取得する。
次に、ステップＳ７０２において、広角画像記録部２０４は、ステップＳ７０１で取得した広角画像を不図示の内部メモリに記録する。
【００２２】
次に、ステップＳ７０３において、狭角画像入力部２０１は、複数枚撮影される狭角画像を識別するための変数ｋを１に初期化する。ここで、変数ｋが異なる狭角画像は撮影される画角が異なる画像であるものとする。
ステップＳ７０４において、狭角画像入力部２０１は、撮像部１０２を介して、望遠側に焦点距離を移動させた狭角画像を取得し、変数ｋを付与する。
【００２３】
ステップＳ７０５において、狭角画像使用判断部２０３は、変数ｋが付与されたｋ枚目の狭角画像が、後の合成処理に使用できる画像であるか否かを判断する。なお、ステップＳ７０５の処理の詳細については後述する。
次に、ステップＳ７０６において、再実写指示部２０７は、ステップＳ７０５の判断結果を元に、判断対象であったｋ枚目の狭角画像を再撮影するか否かを判断する。この判断の結果、再撮影しない場合は次のステップＳ７０７へ進み、再撮影する場合はステップＳ７１５へ進む。
【００２４】
ステップＳ７０７においては、狭角画像現像部２０５は、ステップＳ７０４で撮影されたｋ枚目の狭角画像の現像処理を行う。ここでいう現像処理は、シェーディング補正処理やノイズリダクション処理、エッジ強調処理、色マトリクス処理等の一般的な現像処理である。
【００２５】
次に、ステップＳ７０８において、広角画像現像拡大部２０６は、広角画像の中からｋ枚目の狭角画像を合成する領域を切り出し、現像して拡大する処理を行う。現像処理では、ステップＳ７０７と同様に一般的な現像処理を行う。また、拡大方法については、一般的な線形補間法やバイキュービック法を用いる。なお、広角画像の拡大倍率は以下の式（１）により求められる。なお、式（１）中、ｍは拡大倍率、Ｗｆは広角画像の焦点距離、Ｔｆは狭角画像の焦点距離を表す。
ｍ＝Ｔｆ／Ｗｆ      ・・・（１）
【００２６】
また、本実施形態では、拡大処理と併せて歪曲収差補正を行う。歪曲収差補正の方法としては、画像の像高に応じて座標変換処理を行う一般的な方法を用いる。
【００２７】
次に、ステップＳ７０９において、狭角画像位置合わせ部２０８は、ステップＳ７０７で現像したｋ枚目の狭角画像をステップＳ７０８で拡大現像した広角画像の位置に合わせる位置合わせ処理を行う。本実施形態の位置合わせの方法としては、以下の式（２）による一般的な射影変換を用いる。なお、式（２）中の射影変換係数ａ0〜ａ7は、移動ベクトルの検出結果を用いた最小二乗法や、ジャイロセンサー情報等を用いた公知の方法で算出することができる。
【００２８】
【数１】
2020042486.tif 000003
【００２９】
なお、位置合わせの方法としては、射影変換に限らずアフィン変換や台形変換等を用いても良い。また、本実施形態では、ｋ枚目の狭角画像に対し、射影変換による座標変換と併せて歪曲収差補正による座標変換を併せて行う。
【００３０】
ステップＳ７１０は、中間合成画像記録部２１０は、これまでにｋ−１枚目までの狭角画像を用いて合成を行った中間合成画像を不図示の内部メモリから読み出す。
そして、ステップＳ７１１において、画像合成部２０９は、ステップＳ７１０で読み出した中間合成画像と、ステップＳ７０９で位置合わせしたｋ枚目の狭角画像と、ステップＳ７０７で現像かつ拡大した広角画像との３枚の画像を合成する。
【００３１】
ここで、ステップＳ７１１の合成処理の概要について、図１４を用いて説明する。中間合成画像１４０１のうち、白で示した領域がｋ−１枚目の狭角画像までを合成した領域であり、黒で示した領域はまだ合成を終えていない領域である。中間合成画像１４０１内の点線で示した領域１４０２は、前述したｋ枚目の狭角画像を合成する領域である。領域１４０２に対し、ｋ枚目の狭角画像１４０３を合成する際の合成比率は、合成比率マップ１４０５に示す分布になる。ここで、合成比率マップ１４０５において、グレーで表した領域は、以下の式（３）を用いて合成する領域であり、境界をなじませる領域である。ｉｍｇを出力画像とすると、式（３）中のｉｍｇ＿ｍは中間合成画像、ｉｍｇ＿ｋはｋ枚目の狭角画像、αは１．０〜０．０までの値を取る合成係数を表す。グレーの領域においては、白の領域に近いほどαの値が小さく、黒の領域に近いほどαの値が大きくなるように合成係数αを制御する。
ｉｍｇ＝（１．０−α）×ｉｍｇ＿ｍ＋α×ｉｍｇ＿ｋ      ・・・（３）
【００３２】
また、拡大した広角画像１４０４は、領域１４０２内でｋ枚目の狭角画像を合成できない場合にｋ枚目の狭角画像の代用として使用する。例えば、ステップＳ７０９で狭角画像を変形したことにより、領域１４０２内で狭角画像を合成できない領域が発生した場合などである。なお、本実施形態では、ステップＳ７０５の処理で合成に使用できないと判断されたが、ｋ枚目の狭角画像を再撮影する回数が上限に達して再撮影できない場合も、拡大した広角画像をｋ枚目の狭角画像として合成処理に使用する。これにより、再撮影の回数を制限して処理を早めることができる。
【００３３】
図７の説明に戻り、ステップＳ７１２においては、中間合成画像記録部２１０は、ステップＳ７１１の合成結果を、ｋ枚目の狭角画像まで合成処理を行った中間合成画像として更新し、不図示の内部メモリに記録する。
【００３４】
ステップＳ７１３は、システム制御部１０６は、広角画像の画角に対し、狭角画像の撮影が完了したか否かを判断する。この判断の結果、狭角画像の撮影が完了した場合はステップＳ７１４へ進み、完了していない場合には、ステップＳ７１６へ進む。
ステップＳ７１４においては、画像合成部２０９は、ステップＳ７１２で更新した中間合成画像を高解像化の出力画像として出力し、処理を終了する。
【００３５】
一方、ステップＳ７１５においては、再実写指示部２０７は、ｋ枚目の狭角画像を再撮影する指示をシステム制御部１０６に送る。これにより、撮像部１０２によりｋ枚目も狭角画像の撮影処理が行われることになる。
【００３６】
一方、ステップＳ７１６においては、システム制御部１０６は変数ｋを１増加し、システム制御部１０６の制御により光学系制御部１０５は、シフトレンズを移動させて画角を変更する。そして、撮像部１０２によりｋ＋１枚目の狭角画像の撮影処理が行われることになる。
【００３７】
次に、ステップＳ７０５の処理の詳細について説明する。ステップＳ７０５では、前述した通りｋ枚目の狭角画像が合成処理に使用できるか否かを評価する。本実施形態では、広角画像とｋ枚目の狭角画像とで移動体領域を検出し、合成処理に使用できるか否かを評価する。
【００３８】
図３は、図２の狭角画像使用判断部２０３の詳細な構成例を示すブロック図である。
図３に示すように、狭角画像使用判断部２０３は、狭角画像調整部３０１、広角画像調整部３０２、移動体領域検出部３０３、移動体領域評価部３０４、および判断結果算出部３０５を備えている。
【００３９】
図８は、ステップＳ７０５の詳細な処理手順の一例を示すフローチャートである。以下、図８のフローチャートを用いて狭角画像使用判断部２０３内の処理の流れについて詳細に説明する。
【００４０】
まず、ステップＳ８０１において、後述するステップＳ８０３で移動体領域を検出する処理を行うための準備を行う。具体的には、狭角画像調整部３０１は、入力されたｋ枚目の狭角画像を検出用に調整する処理を行う。ここで、検出用に狭角画像を調整する理由は以下の理由である。つまり、広角画像と狭角画像の撮影条件が異なっており、光学特性を加味して収差などの光学補正を行い、かつ空間周波数を揃えないと、移動体領域を検出する際に移動体領域以外の領域を検出してしまう弊害が出るためである。なお、狭角画像を調整する処理の詳細については後述する。
【００４１】
次に、ステップＳ８０２において、広角画像調整部３０２は、ステップＳ８０１と同様に、入力された広角画像を検出用に調整する処理を行う。広角画像を調整する目的は前述と同様である。なお、広角画像を調整する処理の詳細については後述する。
【００４２】
続いてステップＳ８０３において、移動体領域検出部３０３は、ステップＳ８０１で調整されたｋ枚目の狭角画像とステップＳ８０２で調整された広角画像とを元に、移動体領域を検出する。移動体領域を検出する方法としては、画像間の信号の差分値を利用して移動体検出マップを作成するなど、公知の方法を用いる。
【００４３】
図１５は、移動体検出マップを生成する例を説明するための図である。図１５（ａ）に示すように、移動体領域検出部３０３は、検出用に調整されたｋ枚目の狭角画像１５０１と広角画像１５０２とを入力して移動体領域を検出し、図１５（ｂ）に示すような移動体検出マップ１５０３を生成する。図１５（ｂ）において、白い領域は移動体を示した領域を表し、黒い領域は移動体ではない領域を表す。本実施形態では、移動体検出マップの信号値として、画像間の信号の差分絶対値を使用する。また、本実施形態では、Ｒ、Ｇ、Ｂの信号を全て使用して移動体領域を検出しているが、Ｒ、Ｇ、Ｂのそれぞれで独立に移動体領域を検出してもよく、Ｇのみで移動体領域を検出してもよい。
【００４４】
図８の説明に戻り、次に、ステップＳ８０４において、移動体領域評価部３０４は、ステップＳ８０３で生成された移動体検出マップを元に移動体領域を評価し、評価値を算出する。評価値は、ｋ枚目の狭角画像を用いて高密化処理を行う上で、移動体領域が画質に影響を与える度合いを表す値である。本実施形態では、評価値を０から１００までの数値として表し、数値が０に近づくほど移動体領域が画質に影響を与えるものとする。なお、移動体領域を評価して評価値を算出する処理の詳細については後述する。
【００４５】
次に、ステップＳ８０５において、判断結果算出部３０５は、ステップＳ８０４で算出された評価値を元に、ｋ枚目の狭角画像が合成に使用できるか否かを判断し、その判断結果を出力する。判断方法については、予め定められた閾値と評価値とを比較し、評価値が閾値よりも大きい場合はｋ枚目の狭角画像が合成に使用できると判断し、逆であれば合成に使用できないと判断する。また、閾値については、ｋ枚目の狭角画像の再撮影の回数に応じて増減するように調整してもよい。
【００４６】
次に、ステップＳ８０１の処理の詳細について説明する。ステップＳ８０１では、前述した通り、入力されたｋ枚目の狭角画像を検出用に調整する処理を行う。
【００４７】
図４は、図３の狭角画像調整部３０１の詳細な構成例を示すブロック図である。
狭角画像調整部３０１は、狭角画像光学補正部４０１、狭角画像帯域調整部４０２、および位置合わせ部４０３を備えている。
【００４８】
図９は、ステップＳ８０１の詳細な処理手順の一例を示すフローチャートである。以下、図９のフローチャートを用いて図４の狭角画像調整部３０１内の処理の流れについて詳細に説明する。
【００４９】
まず、ステップＳ９０１において、狭角画像光学補正部４０１は、ｋ枚目の狭角画像を入力する。
そして、ステップＳ９０２において、狭角画像光学補正部４０１は、ステップＳ９０１で入力したｋ枚目の狭角画像について、光学補正処理を行う。ここで、光学補正処理では、レンズ情報に基づいた倍率色収差補正、軸上色収差補正、周辺光量補正等の一般的な処理を行う。なお、画像変形を行う歪曲収差補正については、後述のステップＳ９０４の画像変形処理と併せて行う。
【００５０】
次に、ステップＳ９０３において、狭角画像帯域調整部４０２は、ｋ枚目の狭角画像と広角画像との間で撮影時のレンズのＭＴＦ特性による周波数帯域の違いを吸収するために、ｋ枚目の狭角画像の帯域を調整する処理を行う。帯域を調整する方法としては、例えば特許文献２に記載のような、撮影時のレンズのＭＴＦ特性の差を考慮して、低域側に合わせる様にＬＰＦを用いてフィルタ処理を行う公知の方法を用いる。
【００５１】
続いてステップＳ９０４において、位置合わせ部４０３は、ステップＳ９０３で帯域調整したｋ枚目の狭角画像を、広角画像の拡大部分の位置に合わせる位置合わせ処理を行う。位置合わせの方法については、前述のステップＳ７０９の処理と同様である。
【００５２】
次に、ステップＳ８０２の処理の詳細について説明する。ステップＳ８０２では、前述した通り、入力された広角画像を検出用に調整する処理を行う。
【００５３】
図５は、図３の広角画像調整部３０２の詳細な構成例を示すブロック図である。
広角画像調整部３０２は、広角画像光学補正部５０１、広角画像帯域調整部５０２、および画像拡大部５０３を備えている。
【００５４】
図１０は、ステップＳ８０２の詳細な処理手順の一例を示すフローチャートである。以下、図１０のフローチャートを用いて広角画像調整部３０２内の処理の流れについて詳細に説明する。
【００５５】
まず、ステップＳ１００１において、広角画像光学補正部５０１は、広角画像を入力する。
次に、ステップＳ１００２において、広角画像光学補正部５０１は、ステップＳ１００１で入力した広角画像について光学補正処理を行う。ステップＳ１００２で行う光学補正処理では、前述のステップＳ９０２と同様に一般的な処理を行う。なお、本実施形態では、画像変形を行う歪曲収差補正については後述のステップＳ１００４の画像拡大処理と併せて行う。
【００５６】
次に、ステップＳ１００３において、広角画像帯域調整部５０２は、広角画像とｋ枚目の狭角画像との間で撮影時のレンズのＭＴＦ特性による周波数帯域の違いを吸収するために、広角画像の帯域を調整する処理を行う。調整する方法については前述のステップＳ９０３と同様であるため、説明は省略する。
続いてステップＳ１００４において、画像拡大部５０３は、ステップＳ１００３で帯域調整した広角画像を拡大する。拡大方法については、前述のステップＳ７０８と同様であるため、説明は省略する。
【００５７】
次に、ステップＳ８０４の処理の詳細について説明する。ステップＳ８０４では、前述した通り、移動体検出マップを元に移動体領域を評価し、評価値を算出する。
【００５８】
図６は、図３の移動体領域評価部３０４の詳細な構成例を示すブロック図である。
移動体領域評価部３０４は、第１の評価値算出部６０１、第２の評価値算出部６０２、第３の評価値算出部６０３、および最終評価値算出部６０４を備えている。
【００５９】
図１１は、ステップＳ８０４の詳細な処理手順の一例を示すフローチャートである。以下、図１１のフローチャートを用いて移動体領域評価部３０４内の処理の流れについて詳細に説明する。
【００６０】
まず、ステップＳ１１０１において、第１の評価値算出部６０１、第２の評価値算出部６０２及び第３の評価値算出部６０３は、それぞれ移動体検出マップを入力する。
【００６１】
次に、ステップＳ１１０２において、第１の評価値算出部６０１は、ステップＳ１１０１で入力した移動体検出マップを元に、移動体領域の面積に基づく第１の評価値Ｅｖａ１を算出する。移動体領域の面積Ｓについては、以下の式（４）を用いて算出する。式（４）中において、ｐｉｘ（ｘ，ｙ）は移動体検出マップの座標（ｘ，ｙ）に対応する信号値を表し、ＴＨは予め設定された閾値を表す。
【００６２】
【数２】
2020042486.tif 000004
【００６３】
本実施形態においては、図１６（ａ）に示すように第１の評価値Ｅｖａ１は移動体領域の面積Ｓが大きい程、評価値が小さくなるテーブルによって算出される。そして、本実施形態では、第１の評価値Ｅｖａ１は０から１００までの値をとる。
【００６４】
次に、ステップＳ１１０３において、第２の評価値算出部６０２は、ステップＳ１１０１で入力した移動体検出マップを元に、移動体領域の位置に基づく第２の評価値Ｅｖａ２のマップを生成する。移動体領域の位置とは、移動体検出マップ上の座標（ｘ，ｙ）を指し、本実施形態では、第２の評価値Ｅｖａ２を算出する際に、以下の式（５）に示す、基準となる座標（ｘ'，ｙ'）からのユーグリッド距離ｄ（ｘ，ｙ）を使用する。
【００６５】
【数３】
2020042486.tif 000005
【００６６】
本実施形態では、基準となる座標（ｘ'，ｙ'）は、前述のステップＳ７１１で説明した合成比率マップから決定され、本実施形態では、図１７に示すように、黒で示したｋ枚目の狭角画像を１００％使用する領域の中心座標１７０１を使用する。また、図１６（ｂ）に示すように、第２の評価値Ｅｖａ２（ｘ，ｙ）は、距離ｄ（ｘ，ｙ）が大きい程、評価値が小さくなるテーブルによって算出され、第２の評価値Ｅｖａ２（ｘ，ｙ）は０から１００までの値をとる。第２の評価値Ｅｖａ２（ｘ，ｙ）を移動体検出マップの全座標で行うことによって、第２の評価値Ｅｖａ２のマップが生成される。
【００６７】
次に、ステップＳ１１０４において、第３の評価値算出部６０３は、ステップＳ１１０１で入力した移動体検出マップの値に基づく第３の評価値Ｅｖａ３のマップを生成する。図１６（ｃ）に示すように、第３の評価値Ｅｖａ３（ｘ，ｙ）は、移動体検出マップの座標（ｘ，ｙ）に対応する信号値（移動体領域における信号の差分値）が大きければ大きい程、評価値が小さくなるテーブルによって算出される。なお、本実施形態では、Ｅｖａ３（ｘ，ｙ）は０から１００までの値をとる。
【００６８】
次に、ステップＳ１１０５において、最終評価値算出部６０４は、ステップＳ１１０２からＳ１１０４で算出された第１〜第３の評価値を元に、移動体領域の影響度である最終評価値Ｅｖａを算出する。本実施形態では、以下の式（６）を用いて最終評価値Ｅｖａを算出する。なお、式（６）中において、ａ、ｂ、ｃはそれぞれＥｖａ１、Ｅｖａ２、Ｅｖａ３に対する調整係数を表し、ｐｉｘｎｕｍは移動体検出マップの総画素数を表す。
【００６９】
【数４】
2020042486.tif 000006
【００７０】
以上のように本実施形態によれば、狭角画像から移動体の領域を検出してその評価値を算出し、評価値に基づいてその狭角画像を合成に用いるか否かを判断するようにした。これにより、高密化処理を行う場合に移動体による画質の弊害を抑えることができる。
【００７１】
本実施形態では、Ｅｖａ、Ｅｖａ１、Ｅｖａ２、Ｅｖａ３は全て０から１００までの値を取り得るが、これに限らない。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７３】
２０１  狭角画像入力部
２０２  広角画像入力部
２０３  狭角画像使用判断部
２０９  画像合成部
【図１】
2020042486.tif 000007
【図２】
2020042486.tif 000008
【図３】
2020042486.tif 000009
【図４】
2020042486.tif 000010
【図５】
2020042486.tif 000011
【図６】
2020042486.tif 000012
【図７】
2020042486.tif 000013
【図８】
2020042486.tif 000014
【図９】
2020042486.tif 000015
【図１０】
2020042486.tif 000016
【図１１】
2020042486.tif 000017
【図１２】
2020042486.tif 000018
【図１３】
2020042486.tif 000019
【図１４】
2020042486.tif 000020
【図１５】
2020042486.tif 000021
【図１６】
2020042486.tif 000022
【図１７】
2020042486.tif 000023