(57)【要約】【課題】  電子防振処理を行う場合と、行わない場合とで、それぞれに適した歪曲収差の補正を行う画像処理装置を提供する。【解決手段】  撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、画像データが生成されたときの撮像部の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振手段を有する画像処理装置であって、電子防振処理を行わない場合には、電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくする。【選択図】  図１
2014225864.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、
前記画像データが生成されたときの撮像手段の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振手段を有し、
前記歪曲収差補正手段は、前記電子防振処理を行わない場合には、前記電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理装置。
【請求項２】
前記歪曲収差補正手段は、動画に対して歪曲収差の補正を行う場合には、静止画に対して歪曲収差の補正を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記電子防振手段は、前記歪曲収差補正手段によって歪曲収差の補正が行われた画像データから、前記一部の画像データを切り出すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記歪曲収差補正手段は、前記撮像光学系が所定の条件を満たす場合は、前記電子防振処理を行わない場合と前記電子防振処理を行う場合とで、歪曲収差の補正の程度を等しくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
撮像光学系による歪曲収差が生じた複数の画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、
前記複数の画像データのそれぞれに含まれる被写体の位置に基づいて、前記複数の画像データの位置を調整して合成する合成処理を行う合成手段を有し、
前記歪曲収差補正手段は、前記合成処理を行わない場合には、前記合成処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理装置。
【請求項６】
前記合成手段は、前記歪曲収差補正手段によって歪曲収差の補正が行われた複数の画像データを合成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記歪曲収差補正手段によって歪曲収差の補正が行われた画像に対して、あおりの補正を行うための射影変換処理を行う射影変換手段を有し、
前記合成手段は、前記射影変換手段によってあおりの補正が行われた複数の画像データを合成することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記合成手段によって合成された画像データに対して、歪曲収差を付加する付加手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、
前記画像データから一部の画像データを切り出す処理を行う切り出し手段を有し、
前記歪曲収差補正手段は、前記一部の画像データを切り出す処理を行わない場合には、前記一部の画像データを切り出す処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理装置。
【請求項１０】
複数の画像データを合成する合成手段を有し、
前記切り出し手段は、前記合成手段によって合成された複数の画像データのそれぞれにおいて、他の画像データと重畳する領域を含むように、前記一部の画像データを切り出す処理を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正工程と、
前記画像データが生成されたときの撮像手段の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振工程を有し、
前記歪曲収差補正工程において、前記電子防振処理を行わない場合には、前記電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理方法。
【請求項１２】
撮像光学系による歪曲収差が生じた複数の画像データに対して、歪曲収差の補正を行う歪曲収差補正工程と、
前記複数の画像データのそれぞれに含まれる被写体の位置に基づいて、前記複数の画像データの位置を調整して合成する合成処理を行う合成工程を有し、
前記歪曲収差補正工程において、前記合成処理を行わない場合には、前記合成処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理方法。
【請求項１３】
撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正工程と、
前記画像データから一部の画像データを切り出す処理を行う切り出し工程を有し、
前記歪曲収差補正工程において、前記一部の画像データを切り出す処理を行わない場合には、前記一部の画像データを切り出す処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理方法。
【請求項１４】
画像処理装置のコンピュータに、請求項１１乃至１３のいずれか１項に記載された画像処理方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系の歪曲収差を画像処理により補正する歪曲収差補正機構と、撮像装置の動きによって生じる撮像素子上での像の振れを補正する振れ補正機構を有する画像処理装置に関するものである。
【背景技術】
【０００２】
特開２００５−２５２６２６号公報には、撮像光学系に固有の歪曲収差を画像処理により補正する機能と、撮影時に撮像装置が動くことで生じる被写体の像の振れを補正することが可能な電子防振方式の振れ補正機能を有する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２５２６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像光学系に固有の歪曲収差が生じている画像に対して、この歪曲収差を低減するための画像処理を行うと、画像に広角歪みが発生してしまう。平面的な被写体の画像に生じた広角歪みは目立たないが、立体的な被写体の画像に生じた広角歪みは目立やすい。特に、ズーム機能を備えた撮像光学系の画角を広角に設定して撮影された画像においては、程度の大きな歪曲収差が画像に生じるため、この歪曲収差を補正した際に生じる広角歪みも大きくなる。
【０００５】
広角歪みは、画面の周辺部の被写体が、画面の像高方向に引き伸ばされるように変形する歪みであり、特に人の顔に広角歪みが生じると違和感の強い画像になる。
【０００６】
図７（Ａ）は歪曲収差が良好に補正された画像を示しており、平面的な直線上の形状は良好に見えるが、画面周辺部の人物の顔のような立体物には広角歪が発生しやすく、違和感のある画像となる。図７（Ｂ）は樽型の歪曲収差が残る画像を示しており、平面的な直線上の形状は歪んでしまい違和感のある画像となるが、画面周辺部の人物の顔のような立体物は、比較的良好に見える画像となる。このため、歪曲収差の程度が大きい場合には、あえて歪曲収差を少し残す補正を行うことで、平面的な直線上の形状と広角歪のどちらも比較的程度が良いように感じられる画像を得ることができる。
【０００７】
一方、撮像装置の振れに起因した画像のブレを低減するための防振処理として、いわゆる電子防振処理がある。この電子防振処理は、画像の中から実際に出力（記録又は表示）する切り出し領域を、撮像装置の振れに応じてシフトさせることで、画像のブレを低減するものである。
【０００８】
ところが動画撮影時などで撮像素子からの出力を用いて生成された画像に歪曲収差が残っていると、実際に出力する切り出し領域の位置の変化に応じて、切り出した画像に含まれる歪曲収差の状態が変化する。図８は切り出し領域の位置が変化することによって、切り出し領域に残る歪曲収差の状態が変化することを示す図である。図８（Ａ）の画像から、図８（Ｂ）や図８（Ｃ）のように、切り出し位置の異なる画像を生成すると、それぞれの画像に残る歪曲収差の状態が異なる。そのため、このような画像が連続する動画においては、この切り出し位置の違いよって、画像に残る歪曲収差の違いが目立ってしまう。
【０００９】
また、被写体の輝度が低い場合に、複数回の撮像により得られた複数の画像データのそれぞれから同一の被写体を検出し、それぞれの画像データに含まれる同一の被写体の位置が一致するように、複数の画像データの位置を調整して合成する方式がある。
【００１０】
このとき、同一の被写体の撮像素子上の位置が複数の画像間で異なるならば、この被写体に残る歪曲収差の状態も複数の画像間で異なる。図９は、複数の画像間で、被写体の撮像素子上の位置がずれることによって、被写体に合わせて切り出した画像に残る歪曲収差の状態が変化することを示す図である。図９（Ａ）の画像から、図９（Ｂ）や図９（Ｃ）のように、切り出し位置の異なる画像を生成すると、それぞれの画像に残る歪曲収差の状態が異なる。そのため、このような画像を合成すると、同一の被写体であるにも関わらず、異なる形状の像が合成された画像が生成されてしまい、被写体がボケたような画像になってしまう。
【課題を解決するための手段】
【００１１】
上記課題を達成するため、本願発明に係る画像処理装置は、撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、前記画像データが生成されたときの撮像部の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振手段を有し、前記歪曲収差補正手段は、前記電子防振処理を行わない場合には、前記電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とするものである。また、上記課題を解決するため、本願発明に係る画像処理装置は、撮像光学系による歪曲収差が生じた複数の画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、前記複数の画像データのそれぞれに含まれる被写体の位置に基づいて、前記複数の画像データの位置を調整して合成する合成処理を行う合成手段を有し、前記歪曲収差補正手段は、前記合成処理を行わない場合には、前記合成処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とするものである。
【００１２】
また、上記課題を解決するため、本願発明に係る画像処理装置は、撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、前記画像データから一部の画像データを切り出す処理を行う切り出し手段を有し、前記歪曲収差補正手段は、前記一部の画像データを切り出す処理を行わない場合には、前記一部の画像データを切り出す処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とするものである。
【発明の効果】
【００１３】
上記の手段により、電子防振による画像データの切り出しを行う場合と、行わない場合とで、それぞれに適した歪曲収差の補正を行う画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。
【図２】電子防振を行わない場合における、歪曲収差の補正の程度を示す図である。
【図３】電子防振を行う場合における、歪曲収差の補正の程度を示す図である。
【図４】電子防振による出力画像の切り出し位置を示す図である。
【図５】電子防振による出力画像の切り出し位置を示す図である。
【図６】電子防振と射影変換による出力画像の切り出し位置を示す図である。
【図７】歪曲収差と広角歪みの関係を模式的に示す図である。
【図８】歪曲収差と電子防振による出力画像の切り出し位置の関係を模式的に示す図である。
【図９】歪曲収差と電子防振による出力画像の合成の位置の関係を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明の好適な実施形態について説明を行う。
【００１６】
図１は、本発明に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。ここでは、電子防振機能と歪曲収差補正機能を備えた撮像装置を例に説明を行うが、本発明はこれに限られるものではない。撮影時の振れ情報に基づいて画像を切り出す機能、または、複数の画像の位置合わせをして複数の画像を合成する機能と、歪曲収差を補正する機能を備えているのであれば、撮像装置と分離された画像処理装置においても本発明を適用することは可能である。
【００１７】
撮像光学系１０１は複数のレンズからなるレンズ群を含んでおり、焦点位置やズーム倍率を変更することができる。撮像素子１０２は、撮像光学系１０１を透過した光線を受けて光電変換を行い、被写体に応じたアナログ信号を生成する。撮像光学系１０１と撮像素子１０２で撮像ユニットを構成する。Ａ／Ｄコンバータ１０３は、撮像素子１０２にて生成されたアナログ信号をデジタル信号に変換し、画像データを生成する。
【００１８】
一時メモリ１０４は、Ａ／Ｄコンバータ１０３にて生成された画像データを一時的に記憶する。画像処理回路１０５は、一時メモリ１０４から読み出した画像データに対して、ホワイトバランス、歪曲収差補正、電子防振処理、および、合成処理などの画像処理を行う。モニター１０６は小型液晶画面などにより構成されており、画像処理回路１０５によって処理された画像データを用いて、画像の表示を行う。記録回路１０７は、画像処理回路１０５から出力された画像データをＪＰＥＧなどのフォーマットに変換し、記録するものである。
【００１９】
操作部１０８は、ユーザーがこの撮像装置に対して各種の指示を入力するためのものである。制御回路１０９は同図に示す各部の動作を制御するものである。制御回路１０９は、操作部１０８からの指示に応じた制御も行う。動き検出回路１１０は、撮影時における撮像ユニットの振れを検出し、制御回路１０９に撮像装置の動きを出力するものである。動き検出回路１１０は、例えば、撮像装置に搭載された角速度センサーの出力から撮像装置の動きを検出したり、撮影された複数の画像を比較することで得られる動きベクトルから撮像装置の動きを検出したりする。また、制御回路１０９は動き検出回路１１０から得られた動きの情報に基づいて、電子防振時の画像の切り出し位置を、画像処理回路１０５に伝達するものである。また、制御回路１０９は、画像データから人物などの特定の被写体を検出することができる。
【００２０】
（第１の実施形態）
次に、本発明に係る撮像装置の第１の実施形態における動作について説明する。
【００２１】
操作部１０８の不図示の電源スイッチをオンにすると、本撮像装置を構成する各部に電源が供給される。撮像光学系１０１を通過した被写体像の光線は撮像素子１０２上に結像し、光電変換されたアナログ信号が撮像素子１０２からＡ／Ｄコンバータ１０３に出力される。Ａ／Ｄコンバータ１０３は入力したアナログ信号をデジタル信号に変換し、画像データを生成し、一時メモリ１０４がこの画像データを記憶する。そして、画像処理回路１０５は、一時メモリ１０４から読み出した画像データに対してホワイトバランスを行う。
【００２２】
ここで、操作部１０８により、予め電子防振を実行しないように設定されていた場合には、画像処理回路１０５は、ホワイトバランスを行った画像データに対して、画像データの一部の領域の切り出しを行わずに、歪曲収差補正を行った画像データを生成する。そして、制御回路１０９は、モニター１０６に、この画像データに基づく画像の表示を行わせる。
【００２３】
反対に、操作部１０８により、予め電子防振を実行するように設定されていた場合には、制御回路１０９が動き検出回路１１０で検出された動き量に基づいて、画像の切り出し位置を設定する。そして、画像処理回路１０５は、ホワイトバランスおよび歪曲収差補正を行った画像に対して、制御回路１０９によって設定された位置に従って、画像データの切り出しを行う。そして、制御回路１０９は、モニター１０６に、この切り出した画像データに基づく画像の表示を行わせる。このときの歪曲収差補正に用いられるパラメータは、電子防振を実行しないように設定されているときの歪曲収差補正に用いられるパラメータとは異なる。この違いについては後述する。
【００２４】
撮像装置は、操作部１０８のシャッタースイッチからＳＷ１なる信号の通知（即ち、シャッタースイッチの半押しの通知）を受けるまでは、上記処理を繰り返す。これにより、モニター１０６には動画が表示される。
【００２５】
一方、制御回路１０９が信号ＳＷ１なる信号の通知を操作部１０８のシャッタースイッチから受けると、生成された画像データを用いて自動フォーカス制御および自動露出制御を行い、撮影に最適なピントおよび露出設定条件を取得する。
【００２６】
撮像装置は、操作部１０８のシャッタースイッチからＳＷ２なる信号の通知（即ち、シャッタースイッチの全押しの通知）を受けると、本撮影処理を実行する。この本撮影処理では、画像処理回路１０５は、電子防振の有無によるそれぞれの設定に従った処理を画像データに施し、ＪＰＥＧなどのフォーマットに変換を行ってから、記録回路１０７がこの画像データの記録を行う。
【００２７】
次に、電子防振の有無に応じて、歪曲収差補正のパラメータがどう変化するかについて説明する。
【００２８】
図２は電子防振を行わない場合の、歪曲収差補正の様子を模式的に示した図である。撮像光学系１０１によって画像が樽型に歪む歪曲収差が生じた場合には、図２（Ａ）に示すように、格子状の被写体２０１のうち、樽型に歪んだ撮像範囲２０２が撮像素子１０２上に結像する。
【００２９】
ここで、撮像光学系１０１に固有の歪曲収差が完全になくなるように補正を行った場合には、平面的な被写体の画像の歪みは低減できるが、立体的な被写体においては広角歪みが目立つようになってしまう。このため、ズーム機能を備えた撮像光学系の画角を広角に設定した場合などのように、歪曲収差の程度が大きい場合には、画像処理回路１０５は敢えて樽型の歪曲収差を少し残すように歪曲収差補正を行う。このようにすることで、平面的な直線上の形状と広角歪みのどちらも目立ちにくい画像データを生成する。このときの歪曲収差補正のパラメータは、歪曲収差補正によって生じる広角歪みの程度に応じて、予め調整される。画像処理回路１０５は、図２（Ｂ）に示すように、撮像範囲２０２のうちの補正範囲２０３が出力画像となるように歪曲収差補正を行い、図２（Ｃ）に示すように、樽型の歪曲収差を少し残した画像を歪曲収差補正後の画像データとして出力する。
【００３０】
図３は電子防振を行う場合の、歪曲収差の補正の様子を模式的に示した図である。撮像光学系１０１によって画像が樽型に歪む歪曲収差が生じた場合には、図３（Ａ）に示すように、格子状の被写体３０１のうち、樽型に歪んだ撮像範囲３０２が撮像素子１０２上に結像する。
【００３１】
電子防振は、撮像装置の手振れなどに起因した画像の振れを低減するために、画像処理回路１０５で歪曲収差補正を行った後の画像から、動き検出回路１１０で検出された撮像装置の動き情報に応じた位置で、画像の切り出しを行う。図２（Ｃ）に示すように、樽型の歪曲収差を敢えて残した画像データの一部を切り出すと、切り出し位置がシフトすることにより、画像に残る歪曲収差の形状がフレームごとに変化する。そのため、電子防振を用いて動画撮影を行った際に、歪曲収差を残してしまうと、フレーム間の歪曲収差の形状の違いが目立ってしまい、違和感のある画像となってしまう。このため、本実施形態の撮像装置は、電子防振を用いて動画撮影を行う場合には、画像処理回路１０５は、電子防振を行わない場合に比べて、歪曲収差が残る程度が小さくなるように、歪曲収差補正のパラメータを設定する。例えば、画像処理回路１０５は、図３（Ｂ）に示すように、撮像範囲３０２のうちの補正範囲３０３が出力画像となるように歪曲収差補正を行い、図３（Ｃ）に示すように、樽型の歪曲収差がほとんど残らない画像を歪曲収差補正後の画像データとして出力する。
【００３２】
図４は、歪曲収差がほとんど残っていない画像から電子防振のための切り出しを行ったことを模式的に示す図である。
【００３３】
図４（Ａ）は画像処理回路１０５によって、歪曲収差がほとんど残らないように補正された画像データを示す。図４（Ｂ）と図４（Ｃ）からわかるように、図４（Ａ）に示す画像から位置を変えて画像データの切り出しを行ったとしても、歪曲収差の形態の違いによる違和感をユーザーにほとんど与えずに済むようになる。
【００３４】
さらに、電子防振を行う場合には、画像処理回路１０５で歪曲収差補正を行った後の画像から出力画像を切り出すので、切り出し位置によっては、歪曲収差補正によって生じた広角歪みが発生した領域が除外されることもある。
【００３５】
このように、本実施形態の画像処理装置においては、電子防振を行う場合は、電子防振を行わない場合に比較して、歪曲収差の補正の程度が強くなるように、歪曲収差補正のパラメータを設定するようにしている。これは言い換えれば、電子防振を行わない場合は、電子防振を行う場合に比較して、歪曲収差補正に起因する広角歪みの程度が小さくなるように、歪曲収差補正のパラメータを設定するようにしていることになる。
【００３６】
このようにすることで、電子防振によって動画のフレーム間の歪曲収差の形状の変化が目立つ場合には、広角歪みよりも歪曲収差の補正を優先することで違和感の少ない動画を生成することが可能となる。反対に、電子防振を行わない場合には、敢えて歪曲収差を残すことで、広角歪みによる違和感の少ない画像を生成することが可能となる。
【００３７】
なお、上述した実施形態では、電子防振の有無によって歪曲収差の補正の程度を変化させたが、これに限られるものではない。動画に対して電子防振を行う場合であっても、記録メディアに記録するための本撮影にて得られた動画に対して歪曲収差の補正を行う場合は、そうではない動画に対して歪曲収差の補正を行う場合よりも、歪曲収差の補正の程度を小さくするようにしてもよい。本撮影にて得られた動画ではない動画とは、本撮影の前に被写体を観察するために生成された動画を指す。これは、保存しない動画に対する歪曲収差の形状の変化による違和感については考慮せずに、保存される動画に対する歪曲収差の形状の変化による違和感のみを考慮するという考え方である。
【００３８】
また、静止画に対して切り出し位置をシフトさせる電子防振を行う必要は低いため、静止画撮影を行う場合は、動画撮影を行う場合に比較して、歪曲収差の補正の程度が強くなるように、歪曲収差補正のパラメータを設定するようにしてもよい。
【００３９】
また、歪曲収差を敢えて少し残すのは、撮像光学系が広角側に設定されているなど、歪曲収差が大きくなる所定の条件が満たされた場合のみでよく、それ以外の場合は電子防振の有無によらずに、歪曲収差の補正の程度を等しくしてもよい。
【００４０】
（第２の実施形態）
次に、本発明に係る撮像装置の第２の実施形態における動作について説明する。
【００４１】
第１の実施形態では、動画に対して電子防振を実行するか否かに応じて、歪曲収差補正に用いるパラメータを異ならせる構成を説明した。これに対し、本実施形態では、複数枚の静止画の合成処理を実行するか否かに応じて、歪曲収差補正に用いるパラメータを異ならせる構成について説明する。なお、本実施形態では、主に第１の実施形態と異なる点について説明を行う。
【００４２】
制御回路１０９は、操作部１０８によって予め合成処理を実行するように設定されていた場合、あるいは、適正輝度の画像を得るために必要とされる露光時間が閾値を超えると判断された場合に、静止画の合成処理が必要であると判断する。
【００４３】
制御回路１０９によって静止画の合成処理が不要と判断された場合は、ＳＷ２なる信号の通知を受けると、撮像装置は１回の静止画の撮影を行う。そして、撮影で得られた静止画は、画像処理回路１０５にて、ホワイトバランスおよび歪曲収差補正の画像処理が行われ、それぞれの画像データが生成される。
【００４４】
反対に、制御回路１０９によって合成処理が必要と判断された場合は、ＳＷ２なる信号の通知を受けると、撮像装置は複数回の静止画の撮影を行う。画像処理回路１０５は、複数回の撮影により得られた複数の静止画のそれぞれについてホワイトバランスおよび歪曲収差補正を行い、複数の画像データを生成する。そして、制御回路１０９は、複数の画像データのそれぞれから同一の被写体を検出する。ここでは、例えば、制御回路１０９は画像データから人物を検出するものとする。そして、画像処理回路１０５は、同一の被写体（人物）の位置が一致するように複数の画像データの位置を調整し、これらの画像データを合成する。
【００４５】
本実施形態の撮像装置は、画像処理回路１０５は、合成処理を行う場合には、行わない場合に比べて、歪曲収差が残る程度が小さくなるように、歪曲収差補正のパラメータを設定する。例えば、画像処理回路１０５は、図３（Ｂ）に示すように、撮像範囲３０２のうちの補正範囲３０３が出力画像となるように歪曲収差補正を行い、図３（Ｃ）に示すように、樽型の歪曲収差がほとんど残らない画像データを生成する。そして、樽型の歪曲収差がほとんど残らない画像データを用いて、複数の画像データのそれぞれから同一の被写体の位置を検出し、同一の被写体の位置が重なるように複数の画像データの合成位置を調整する。
【００４６】
図５は、歪曲収差がほとんど残っていない画像データから、合成処理のための切り出しを行ったことを模式的に示す図である。
【００４７】
図５（Ａ）は画像処理回路１０５によって、歪曲収差がほとんど残らないように補正された画像データを示す。図５（Ｂ）と図５（Ｃ）からわかるように、複数の画像データ間で、同一の被写体における歪曲収差の形状が同じになるため、図５（Ｄ）のように画像データの合成を行った場合の重ね合わせの誤差を少なくすることができる。
【００４８】
図６は歪曲収差補正および射影変換を行った画像データの合成処理を示す。図６（Ａ）は画像処理回路１０５によって、歪曲収差がほとんど残らないように補正された画像データを示す。その後、図６（Ｂ）と図６（Ｃ）のように、撮像装置のあおりにより台形の歪みが生じた画像データに対して射影変換処理を行う場合も、図６（Ｄ）と図６（Ｅ）のように射影変換後の画像データは台形の歪みが正確に補正される。このため合成処理される画像は図６（Ｆ）のように画像データの重ね合わせの誤差を少なくすることができる。
【００４９】
さらに、合成処理を行う場合には、それぞれの画像において、他の画像と重複しない領域を削除する。つまり、他の画像と重畳する領域のみが切り出されることになる。画像の周辺部は広角歪みの程度が大きくなりやすいが、合成処理の際に他の画像と重畳せずに削除される可能性が高いため、広角歪みが目立たない画像が生成される可能性が高い。
【００５０】
このように、本実施形態の画像処理装置においては、合成処理を行う場合は、合成処理を行わない場合に比較して、歪曲収差の補正の程度が強くなるように、歪曲収差補正のパラメータを設定するようにしている。これは言い換えれば、合成処理を行わない場合は、合成処理を行う場合に比較して、歪曲収差補正に起因する広角歪みの程度が小さくなるように、歪曲収差補正のパラメータを設定するようにしていることになる。
【００５１】
このようにすることで、合成処理を行う場合には、広角歪みよりも歪曲収差の補正を優先することで画像の重ね合わせ誤差の少ない画像データを生成することが可能となる。反対に、合成処理を行わない場合には、敢えて歪曲収差を残すことで、広角歪みによる違和感の少ない画像を生成することが可能となる。
【００５２】
なお、複数の画像間で同一の被写体の検出ができなかった場合や、複数の画像間で同一の被写体の位置が閾値よりも離れている場合などは、画像データの合成処理を行わないと判断してもよい。画像の合成処理を行わない場合には、画像の重ね合わせの誤差の発生はないため、広角歪みを低減することを優先する処理となる。
【００５３】
また、複数の画像に対して合成処理を実行した後に、広角歪みを低減するために、敢えて歪曲収差を付加する補正を行っても良い。このような処理により画像データの合成による重ね合わせ誤差を少なくし、広角歪も低減することができる。
【００５４】
また、歪曲収差を敢えて付加するのは、撮像光学系が広角側に設定されているなど、歪曲収差が大きくなる所定の条件が満たされた場合のみでよく、それ以外の場合は電子防振の有無によらずに、歪曲収差の補正の程度を等しくしてもよい。
【００５５】
以上、本発明の撮影時及び再生時における実施形態について説明したが、本発明はこれらの実施形態に限定されず、それぞれ説明された構成を組み合わせる等、種々の変形および変更が可能である。
【００５６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５７】
１０１  撮像光学系
１０２  撮像素子
１０３  Ａ／Ｄコンバータ
１０４  一時メモリ
１０５  画像処理回路
１０６  モニター
１０７  記録回路
１０８  操作部
１０９  制御回路
１１０  動き検出回路
【図１】
2014225864.tif 000003
【図２】
2014225864.tif 000004
【図３】
2014225864.tif 000005
【図４】
2014225864.tif 000006
【図５】
2014225864.tif 000007
【図６】
2014225864.tif 000008
【図７】
2014225864.tif 000009
【図８】
2014225864.tif 000010
【図９】
2014225864.tif 000011