(57)【要約】【課題】軸上色収差による色にじみが生じている領域を高い精度で検出することを課題とする。【解決手段】色にじみ除去部（１０５）は、第１の撮影画像の検出対象となる色成分（Ｂプレーン）の着目画素における信号の傾きを第１の信号傾斜（Ｂ＿ｌｅａｐ）として算出し、第１の撮影画像よりも絞りが小絞りになされて撮影された第２の撮影画像の色成分（Ｂプレーン）の着目位置における信号の傾きを第２の信号傾斜（Ｂ２＿ｌｅａｐ）として算出し、第１の信号傾斜（Ｂ＿ｌｅａｐ）と第２の信号傾斜（Ｂ２＿ｌｅａｐ）に基づいて、第１の撮影画像の着目位置における色成分（Ｂプレーン）の青色にじみを検出する。【選択図】図１
2017183813.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影画像の検出対象となる色成分の着目位置における信号の傾きを第１の傾きとし、前記第１の撮影画像よりも絞りが小絞りになされて撮影された第２の撮影画像の前記色成分の前記着目位置における信号の傾きを第２の傾きとして生成する生成手段と、
前記第１の傾きと前記第２の傾きとに基づいて、前記第１の撮影画像の前記着目位置における前記色成分の色にじみを検出する検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記第１の撮影画像の前記検出対象となる前記色成分とは異なる色成分の画像の、前記着目位置における信号の傾きを第３の傾きとして生成し、
前記検出手段は、
前記第１の傾きと前記第３の傾きとの比が所定の第１の閾値より大きい場合の前記着目位置には、前記検出対象の色成分の前記色にじみが生じているとして検出し、
前記第１の傾きと前記第３の傾きとの比が所定の第１の閾値以下になっている前記着目位置については、前記第１の傾きと前記第２の傾きとの比が所定の第２の閾値より大きいときに、前記着目位置には前記検出対象の色成分の前記色にじみが生じているとして検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記第１の撮影画像の前記検出対象となる前記色成分とは異なる色成分の画像の、前記着目位置における信号の傾きを第３の傾きとして生成し、
前記検出手段は、
前記第１の傾きと前記第３の傾きとの差分が所定の第１の閾値より大きい場合の前記着目位置には、前記検出対象の色成分の前記色にじみが生じているとして検出し、
前記第１の傾きと前記第３の傾きとの差分が所定の第１の閾値以下になっている前記着目位置については、前記第１の傾きと前記第２の傾きとの差分が所定の第２の閾値より大きいときに、前記着目位置には前記検出対象の色成分の前記色にじみが生じているとして検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出対象の色成分は、前記撮影画像に含まれる赤成分、緑成分、青成分の各原色成分のうち、青成分又は赤成分であり、
前記検出対象の色成分とは異なる色成分は、前記緑成分であることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第２の撮影画像を前記第１の撮影画像に対して位置合わせする補正手段を有し、
前記生成手段は、前記位置合わせがなされた前記第２の撮影画像の前記検出対象の色成分の前記着目位置における信号の傾きを前記第２の傾きとして生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第２の撮影画像に対し、像倍率補正と、前記第１の撮影画像に対する位置合わせとを行う補正手段を有し、
前記生成手段は、前記像倍率補正と前記位置合わせとが行われた第２の撮影画像の前記検出対象の色成分の着目位置における信号の傾きを前記第２の傾きとして生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記補正手段は、前記第１の撮影画像に含まれる赤成分、緑成分、青成分の各原色成分のうち緑成分の画像と、前記第２の撮影画像に含まれる赤成分、緑成分、青成分の各原色成分のうち緑成分の画像とを用いて、前記第１の撮影画像と前記第２の撮影画像の位置合わせを行うことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記検出手段は、第１の撮影画像の中で動体領域を検出した場合には、前記検出した動体領域に含まれた前記着目位置については、前記第１の傾きと前記第２の傾きとに基づいた前記色成分の色にじみの検出を行わないことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記検出手段は、
前記第１の傾きに基づいて前記検出対象の色成分の色にじみ量を算出し、
前記第１の撮像画像の前記着目位置における信号強度から前記色にじみ量に応じた信号強度を差し引くことにより、前記第１の撮影画像から前記色にじみを除去することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記検出手段は、所定の色相範囲の着目位置を前記色にじみの除去対象とすることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記検出手段は、前記算出した色にじみ量を所定の色相範囲に基づいて補正し、前記補正した後の色にじみ量により前記第１の撮像画像から前記色にじみを除去することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記着目位置は、着目画素の画素位置であり、
前記着目位置における信号の傾きは、前記着目画素の画素値に対する周辺画素の画素値の変化の傾きであることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
第１の撮影画像の検出対象となる色成分の着目位置における信号の傾きと、前記第１の撮影画像よりも絞りが小絞りになされて撮影された第２の撮影画像の前記色成分の前記着目位置における信号の傾きと、に基づいて、前記第１の撮影画像の前記着目位置における前記色成分の色にじみを検出する
ことを特徴とする画像処理装置の画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対する信号処理を行う画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、カラー撮像が可能な撮像装置では、撮像素子に被写体の光学像を結像させる結像光学系の色収差により、画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮像装置による可視光のカラー撮像では、結像光学系の中心波長である緑から離れた部分で色にじみが起きやすく、青や赤或いは双方が混じった紫色のアーチファクトがにじみ状に生じ、これは色にじみやパープルフリンジなどと呼ばれる。
【０００３】
撮像装置の結像光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。しかし、近年、撮像装置の小型化が進み、撮像素子に用いる撮像センサの高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学系のみで十分に抑えることは困難となってきている。このため、画像処理による色にじみの抑制が求められている。なお、色収差は倍率色収差（横色収差とも呼ばれる。）と軸上色収差（縦色収差とも呼ばれる。）に大別される。倍率色収差は、結像位置が各色光の波長により像面に沿う方向にずれる現象である。また、軸上色収差は、結像位置が各色光の波長により光軸に沿う方向にずれる現象である。ここで、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系のデジタル撮像系の場合、倍率色収差に対しては、Ｒ，Ｇ，Ｂの各色プレーンに対して異なる歪曲を加える幾何変換の画像処理による補正が可能である。
【０００４】
一方、軸上色収差は、例えば可視光域の中心波長を担うＧ（緑）プレーンで合焦した画像においては、可視光域端部となるＲ（赤）プレーンやＢ（青）プレーンでは被写体に焦点が合わず不鮮明な画像（ピンボケ画像）となる。これは倍率色収差に対する補正のような幾何変換の画像処理では補正できない。特許文献１には、色にじみが主に白とび（予め設定した信号の飽和領域）周辺に生じるという特性を利用して、Ｇプレーンの飽和している領域を探索し、その周辺の領域の画素の積分値から色にじみの補正値を算出する技術が開示されている。また、特許文献２には、隣接画素間の輝度差が一定レベル以上になる領域を、色にじみが生じる可能性のある領域として検出し、その領域の彩度を下げることにより、色にじみを目立たなくする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１３３５９２号公報
【特許文献２】特開２００１−１４５１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像装置で撮像した画像の色にじみは、主に白とび周辺に生じることが多いが、白とびしていない領域にも、観察者にとって違和感のある色にじみは生じる。例えば樹木の間の木漏れ日のような撮影シーンでは、白とびしていない青空の背景と木々の枝との境界に目立つ色にじみが生じる。しかし、特許文献１では、白とび領域を色にじみが生じる領域として探索するため、前述のような白とびしていない領域については、色にじみが生じていたとしても検出することができない。また、特許文献２では、隣接画素間に輝度差があった場合、実際には色にじみが生じていなくても、色にじみが生じる可能性のある領域として誤って検出してしまうことがある。このように、特許文献１や特許文献２に記載の技術では、色にじみが生じている領域を正確に検出できず、そのため、効果の高い色にじみ補正もできない。
【０００７】
そこで、本発明は、軸上色収差による色にじみが生じている領域を高い精度で検出して効果の高い色にじみ補正を可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、第１の撮影画像の検出対象となる色成分の着目位置における信号の傾きと、第１の撮影画像よりも絞りが小絞りになされて撮影された第２の撮影画像の前記色成分の前記着目位置における信号の傾きとに基づいて、第１の撮影画像の着目位置における前記色成分の色にじみを検出することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、軸上色収差による色にじみが生じている領域を高い精度で検出でき、効果の高い色にじみ補正が可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の撮像装置の概略構成を示す図である。
【図２】Ｒ，Ｇ，Ｂプレーンの説明に用いる図である。
【図３】補間信号の説明に用いる図である。
【図４】第１の実施形態の色にじみ検出から除去までのフローチャートである。
【図５】色度座標面を示す図である。
【図６】第２の実施形態の色にじみ検出から除去までのフローチャートである。
【図７】第３の実施形態の撮像装置の概略構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態・撮像装置の構成＞
図１（Ａ）は、画像処理装置の一適用例としての撮像装置の概略構成を示す図である。
図１（Ａ）において、撮影レンズ１３０は、撮像部１０１の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構１３１は、メカニカルシャッター、絞り等を有して構成されている。撮影レンズ１３０は、制御部１２０によりフォーカスレンズが駆動制御されて、被写体等に対するピントを合わせるオートフォーカス（ＡＦ）制御が行われる。メカ機構１３１は、制御部１２０によりシャッター速度と絞り値が制御されて適正露出に合わせる自動露出（ＡＥ）制御が行われる。なお、シャッター速度と絞り値は、ユーザによりそれぞれ任意に設定（マニュアル設定）される場合もある。また、以下の説明では、ＡＥ制御やユーザによるマニュアル設定されたシャッター速度と絞り値により撮影が行われることを「本撮影」と呼び、本撮影による撮影画像は後述するように記録や表示等される。
【００１２】
撮像部１０１は、ＣＣＤやＣＭＯＳ等からなる撮像素子とその周辺回路からなり、撮像素子の撮像面はベイヤー配列のＲ（赤）Ｇ（緑）Ｂ（青）カラーフィルタにより覆われている。図２（Ａ）は、撮像素子においてベイヤー配列のカラーフィルタのＲ，Ｇ，Ｂに各々対応した各画素の配列を表している。図２（Ａ）の図中のＲ画素はＲ（赤）のカラーフィルタを透過した光が入射し、図中のＧ画素はＧ（緑）のカラーフィルタを透過した光が、図中のＢ画素はＢ（青）のカラーフィルタを透過した光が入射する。撮像部１０１からは、ベイヤー配列のＲ，Ｇ，Ｂに対応して各画素が配列した画像２５０の画像信号が出力される。撮像部１０１は、制御部１２０により撮像動作が制御される。
【００１３】
ここで、本実施形態の場合、制御部１２０は、本撮影の直後（又は本撮影の直前）に、本撮影の絞り値よりも小絞り（絞りのｆ値を大きくした）になるようにメカ機構１３１を制御するとともに、撮像部１０１及び撮影レンズ１３０を制御して撮影を行わせる。本実施形態では、本撮影による撮影画像を第１の撮影画像と呼ぶことにする。一方、本撮影の際の絞り値よりも小絞りとなされて撮像された画像は、後述するように第１の撮影画像の色にじみを補正するための補正補助用の画像であり、以下の説明では第２の撮影画像と呼ぶことにする。なお、第２の撮影画像は第１の撮影画像よりも絞りを小絞りにして（絞りのｆ値を大きくして）撮像されるため、第１の撮影画像と第２の撮影画像の撮影時のシャッター速度が例えば同一である場合には、第２の撮影画像は第１の撮影画像よりも暗い画像となる。
【００１４】
撮像部１０１により撮像された第１の撮影画像のアナログ画像信号と第２の撮影画像のアナログ画像信号は、Ａ／Ｄ（アナログ／デジタル）変換部１０２によりそれぞれデジタル画像信号に変換される。以下の説明では、第１の撮影画像のデジタル画像信号を第１の画像信号、第２の撮影画像のデジタル画像信号を第２の画像信号と表記する。Ａ／Ｄ変換部１０２から出力された第１の画像信号と第２の画像信号は、ＷＢ処理部１０３に送られる。ＷＢ処理部１０３は、制御部１２０による制御の下で、第１の画像信号と第２の画像信号にそれぞれホワイトバランス（ＷＢ）処理を行う。ＷＢ処理部１０３によるＷＢ処理後の第１の画像信号と第２の画像信号は、補間処理部１０４に送られる。
【００１５】
補間処理部１０４は、制御部１２０による制御の下で、第１の画像信号と第２の画像信号に対してそれぞれ補間処理を行う。補間処理部１０４による補間処理の詳細については後述する。補間処理部１０４による補間処理後の第１の画像信号は第１の補間信号として、また、補間処理後の第２の画像信号は第２の補間信号として、それぞれメモリ部１１０に送られる。
【００１６】
メモリ部１１０は、制御部１２０による制御の下で、第１の補間信号を第１のメモリ１１０ａに記憶し、第２の補間信号を第２のメモリ１１０ｂに記憶する。なお、メモリ部１１０の第１のメモリ１１０ａと第２のメモリ１１０ｂは、別個のメモリであってもよいし、一つのメモリを領域分けしたメモリ領域であってもよい。第１のメモリ１１０ａに記憶された第１の補間信号は、制御部１２０による制御の下で、第１のメモリ１１０ａから読み出されて位置合わせ部１１５と色にじみ除去部１０５に送られる。また、第２のメモリ１１０ｂに記憶された第２の補間信号は、制御部１２０による制御の下で、第２のメモリ１１０ｂから読み出されて位置合わせ部１１５に送られる。
【００１７】
位置合わせ部１１５は、第１の補間信号の各画素位置に対して、第２の補間画像の対応した各画素位置がずれている場合には、第２の補間信号の画素位置を第１の補間信号の画素位置に合わせるようにし、その位置合わせ処理後の第２の補間信号を出力する。すなわち、本実施形態において、位置合わせ部１１５は、第２の撮影画像を第１の撮影画像に対して位置合わせする補正手段の一例である。なお、第１の補間信号と第２の補間信号の画素位置にずれが無い場合には、第２の補間信号はそのまま位置合わせ部１１５から出力される。位置合わせ部１１５による位置合わせ処理の詳細については後述する。位置合わせ部１１５から出力された第２の補間信号は、色にじみ除去部１０５に送られる。
【００１８】
色にじみ除去部１０５は、生成手段及び検出手段の一例であり、第１のメモリ１１０ａからの第１の補間信号と位置合わせ部１１５からの第２の補間信号とに基づいて、第１の補間信号から色にじみ領域を検出して色にじみを除去する。色にじみ除去部１０５による色にじみ領域の検出と色にじみの除去処理の詳細については後述する。色にじみ除去部１０５により第１の補間信号から色にじみが除去された後の信号は、信号処理部１０６に送られる。
【００１９】
信号処理部１０６は、色にじみが除去された後の第１の補間信号を用いて公知の輝度信号処理や色信号処理等を行って画像信号を生成する。信号処理部１０６による信号処理により生成された画像信号は、本撮影による画像信号として、不図示の記録部に送られて記録媒体へ記録されたり、不図示の表示部に送られて表示されたりする。
【００２０】
前述の図１（Ａ）は、撮影レンズ１３０〜補間処理部１０４までが１系統となされた撮像装置の例を挙げているが、本実施形態の撮像装置は、図１（Ｂ）に示すように、撮影レンズから補間処理部までが２系統となされた撮像装置であってもよい。
【００２１】
図１（Ｂ）において、撮影レンズ１３０ａ，１３０ｂは図１（Ａ）の撮影レンズ１３０と同様にフォーカスレンズやズームレンズを有する。撮影レンズ１３０ａは、撮像部１０１ａの撮像面上に被写体等の光学像を結像させ、撮影レンズ１３０ｂは、撮像部１０１ｂの撮像面上に被写体等の光学像を結像させる。撮影レンズ１３０ａ，１３０ｂは、制御部１２０によりフォーカスレンズが駆動制御されて、被写体等に対するピントを合わせるＡＦ制御が行われる。メカ機構１３１ａ，１３１ｂは、図１（Ａ）のメカ機構１３１と同様に、メカニカルシャッター、絞り等を有して構成されている。撮像部１０１ａ，１０１ｂは、図１（Ａ）の撮像部１０１と同様に撮像素子とその周辺回路からなり、撮像素子の撮像面はベイヤー配列のＲＧＢカラーフィルタにより覆われている。
【００２２】
図１（Ｂ）の構成例の場合、撮像部１０１ａにより撮像された画像が第１の撮影画像となされ、撮像部１０１ｂにより撮像された画像が第２の撮影画像となされる。このため、制御部１２０は、メカ機構１３１ａのシャッター速度と絞り値については、本撮影におけるＡＥ制御やユーザによるマニュアル設定されたシャッター速度と絞り値に制御する。これに対し、制御部１２０は、メカ機構１３１ｂについては、メカ機構１３１ａに設定した絞り値よりも小絞りになる（絞りのｆ値を大きくする）ように制御する。図１（Ｂ）に示した２系統構成の撮像装置は、撮像部１０１ａによる第１の撮影画像の撮像と、撮像部１０１ｂによる第２の撮影画像の撮像とを、同時に行うことができる。このため、図１（Ｂ）の撮像装置の場合、第１の撮影画像と第２の撮影画像は、撮影タイムラグがない同時刻に撮影された画像となる。
【００２３】
撮像部１０１ａからの第１の撮影画像のアナログ画像信号は、Ａ／Ｄ変換部１０２ａによりデジタル画像信号に変換され、第１の画像信号としてＷＢ処理部１０３ａに送られる。また、撮像部１０１ｂからの第２の撮影画像のアナログ画像信号は、Ａ／Ｄ変換部１０２ｂによりデジタル画像信号に変換され、第２の画像信号としてＷＢ処理部１０３ｂに送られる。ＷＢ処理部１０３ａは、制御部１２０による制御の下で、第１の画像信号にＷＢ処理を行い、そのＷＢ処理後の第１の画像信号を補間処理部１０４ａに送る。ＷＢ処理部１０３ｂは、制御部１２０による制御の下で、第２の画像信号にＷＢ処理を行い、そのＷＢ処理後の第２の画像信号を補間処理部１０４ｂに送る。
【００２４】
補間処理部１０４ａは、制御部１２０による制御の下、第１の画像信号に対して補間処理を行う。また、補間処理部１０４ｂは、制御部１２０による制御の下、第２の画像信号に対して補間処理を行う。これら補間処理部１０４ａ，１０４ｂにおける補間処理は、図１（Ａ）の補間処理部１０４と同様の処理である。補間処理部１０４ａの補間処理による第１の補間信号は、位置合わせ部１１５と色にじみ除去部１０５に送られる。補間処理部１０４ｂの補間処理による第２の補間信号は、位置合わせ部１１５に送られる。位置合わせ部１１５、色にじみ除去部１０５、信号処理部１０６は、図１（Ａ）に示したものと同様のものである。
【００２５】
＜補間処理の詳細＞
図１（Ａ）の補間処理部１０４、図１（Ｂ）の補間処理部１０４ａ，１０４ｂが行う補間処理について、図２（Ａ）〜図２（Ｃ）を用いて説明する。図１（Ａ）の補間処理部１０４、図１（Ｂ）の補間処理部１０４ａ，１０４ｂにて行われる補間処理は基本的に同じ処理であるため、ここでは図１（Ａ）の補間処理部１０４が第１の画像信号に対して行う補間処理のみを例に挙げて説明する。
【００２６】
第１の画像信号は図２（Ａ）に示したベイヤー配列のＲ，Ｇ，Ｂに対応した画素配列の画像２５０である。補間処理部１０４は、第１の画像信号の画像２５０の各画素を図２（Ｂ）に示すように赤成分（Ｒ成分），緑成分（Ｇ成分），青成分（Ｂ成分）の原色成分ごとに分離すると共に、Ｒ，Ｇ，Ｂの各原色成分が無い画素位置にはゼロ（０）の画素値を挿入する。図２（Ｂ）の画像２５１はＲ成分の画素値とゼロの画素値が配列された画像であり、画像２５２はＧ成分の画素値とゼロの画素値が配列された画像、画像２５３はＢ成分の画素値とゼロの画素値が配列された画像である。更に補間処理部１０４は、図２（Ｂ）の各画像２５１〜２５３に対し、画素値がゼロの画素位置に周囲画素から補間した画素値を挿入して、図２（Ｃ）に示すようなＲ，Ｇ，Ｂの各色プレーン（Ｒプレーン２５４、Ｇプレーン２５５、Ｂプレーン２５６）を生成する。なお、これ以降、記載を簡略にするため、Ｒプレーン２５４、Ｇプレーン２５５、Ｂプレーン２５６を、それぞれＲプレーン、Ｇプレーン、Ｂプレーンとのみ表記する。
【００２７】
＜位置合わせ処理の詳細＞
位置合わせ部１１５による位置合わせ処理について説明する。第２の補間信号は、前述したように、第１の補間信号に対して位置合わせが行われた後の信号であるか、或いは、第１の補間信号に対して画素の位置ずれが生じていない信号である。
【００２８】
このため、位置合わせ部１１５は、先ず第１の補間信号の画像と第２の補間信号の画像との間の位置ずれ量を検出する。そして、位置合わせ部１１５は、検出した位置ずれ量に基づいて、第１の補間信号と第２の補間信号の位置合わせを行う。なお、位置合わせに必要な位置ずれ量の検出と位置合わせの手法は、例えば画像合成方式の手ぶれ補正処理などで使用されており、多くの技術が開示されているためその説明については省略する。
【００２９】
ここで、図２（Ａ）に示したようにベイヤー配列のＲ，Ｇ，Ｂに対応した各画素が配列された画像２５０は、Ｇ成分の画素がＲ成分の画素やＢ成分の画素より多く、Ｇ成分の解像度がＲ成分やＢ成分の解像度よりも高くなっている。このため、本実施形態の場合、位置合わせ部１１５は、第１の補間信号と第２の補間信号との間の画像の位置ずれ量を検出する際には、第１の補間信号と第２の補間信号の各色プレーンのうち、解像度の高いＧプレーンを用いて位置ズレ量を検出する。これにより、位置合わせ部１１５では、精度の高い位置合わせ処理が可能となる。
【００３０】
＜色にじみ除去処理＞
以下、色にじみ除去部１０５による色にじみ領域の検出（判定）処理と色にじみ除去処理について、図３（Ａ）〜図３（Ｃ）、図４、図５を参照しながら説明する。なお、色にじみ除去部１０５で行われる色にじみ領域の検出処理と色にじみ除去処理は、図１（Ａ）と図１（Ｂ）の何れの構成でも同じ処理であるため、ここでは図１（Ａ）と図１（Ｂ）の構成を区別せずに説明する。
【００３１】
本実施形態では、図２（Ｃ）に示した各色プレーン（Ｒプレーン、Ｇプレーン、Ｂプレーン）のうち、レンズ光学系（撮影レンズ１３０）の設計上の中心波長光である緑光（Ｇ）に対応したＧプレーンを、基準プレーンとする。色にじみは、基準プレーンであるＧプレーンから離れた色であるＲプレーンやＢプレーンの何れでも生じ易いため、本実施形態では、それらＲプレーンやＢプレーンを色にじみの検出対象の色成分の画像とする。以下の説明では、色にじみの検出対象の色成分の画像の一例としてＢプレーンが挙げられ、検出対象の色成分（Ｂプレーン）とは異なる色成分の画像がＧプレーンとなされている。
【００３２】
図３（Ａ）は、横軸が画素位置（ｐｏｓ）、縦軸が画素値（画素の信号強度）を示している。図３（Ａ）は、或る光源光の下で撮影が行われた場合の、第１の補間信号のＢプレーンとＧプレーン、及び、第２の補間信号のＢプレーンとＧプレーンの、画素位置ｐｏｓと画素値との関係を表している。具体的には、図３（Ａ）の曲線２０１は第１の補間信号のＢプレーン、曲線２０２は第１の補間信号のＧプレーン、曲線２０３は第２の補間信号のＢプレーン、曲線２０４は第２の補間信号のＧプレーンの、画素位置ｐｏｓと画素値との関係を表している。
【００３３】
ここで、絞りを絞って撮影した画像は、絞りが開かれて撮影された画像よりも、軸上色収差の発生量が少ない。本実施形態の場合、第２の撮影画像は、第１の撮影画像の場合よりも絞りが絞られて（ｆ値が大きくなされて）撮像された画像である。このため、第２の撮影画像に対応した第２の補間信号は色にじみの発生が少なく、一方、第１の撮影画像に対応した第１の補間信号は色にじみの発生が多いと考えられる。また、色にじみは、前述したように、基準プレーン（Ｇプレーン）から離れた色プレーン（本実施形態ではＢプレーン）で生じている。図３（Ａ）の例の場合、第１の補間信号では、画素位置ｐｏｓが「１」を超えたところで、Ｂプレーン（曲線２０１）とＧプレーン（曲線２０２）の画素値の差が既にゼロより大きく（Ｂ−Ｇ＞０）なっているため、色にじみ（青色にじみ）が生じていることがわかる。一方、第２の補間信号では、画素位置ｐｏｓが「５」になるまでＢプレーン（曲線２０３）とＧプレーン（曲線２０４）の画素値の差がゼロ（Ｂ−Ｇ＝０）であるため色にじみ（青色にじみ）は発生していないことがわかる。第２の補間信号の場合、画素位置ｐｏｓが「５」以降において、Ｂプレーン（曲線２０３）とＧプレーン（曲線２０４）の画素値の差がゼロより大きく（Ｂ−Ｇ＞０）なって色にじみ（青色にじみ）が生じていることがわかる。
【００３４】
図３（Ｂ）は、横軸が画素位置（ｐｏｓ）、縦軸が画素値周辺の傾き（ｌｅａｐ）を示している。画素値周辺の傾きとは、着目位置の画素（以下、着目画素とする。）とその周辺画素との間の信号強度の変化の傾きであり、本実施形態では下記の式（１）、式（２）により求められる。着目画素とその周辺画素との間の信号強度の変化の傾きは、具体的には画素値の変化の傾きであるため、以下の説明では、信号強度の変化の傾きを表す値を信号傾斜と表記する。図３（Ｂ）の曲線２１１は第１の補間信号のＢプレーンにおける信号傾斜を示し、曲線２１２は第１の補間信号のＧプレーンにおける信号傾斜を示している。図３（Ｂ）の曲線２１３は第２の補間信号のＢプレーンにおける信号傾斜、曲線２１４は第２の補間画像のＧプレーンにおける信号傾斜を示している。
【００３５】
本実施形態の場合、色にじみ除去部１０５は、第１の補間信号のＢプレーンにおける信号傾斜を下記式（１）により信号傾斜Ｂ＿ｌｅａｐとして算出し、第１の補間信号のＧプレーンにおける信号傾斜を下記式（２）により信号傾斜Ｇ＿ｌｅａｐとして算出する。本実施形態の場合、第１の補間信号のＢプレーンにおける信号傾斜Ｂ＿ｌｅａｐは、生成手段により生成される第１の傾きに相当し、第１の補間信号のＧプレーンにおける信号傾斜Ｇ＿ｌｅａｐは、生成手段により生成される第３の傾きに相当する。
【００３６】
【数１】
2017183813.tif 000003
【００３７】
なお、式（１）の変数Ｂ（ｐｏｓ＋１）とＢ（ｐｏｓ−１）は、第１の補間信号のＢプレーンにおける着目画素の周辺画素の画素値である。また、式（２）の変数Ｇ（ｐｏｓ＋１）とＧ（ｐｏｓ−１）は、第１の補間信号のＧプレーンにおける着目画素の周辺画素の画素値である。
【００３８】
そして、色にじみ除去部１０５は、第１の補間信号のＢプレーンにおける信号傾斜Ｂ＿ｌｅａｐと、第１の補間信号のＧプレーンにおける信号傾斜Ｇ＿ｌｅａｐとの比を求め、その比の値が大きい画素位置ｐｏｓの画素には色にじみが生じていると判定する。より具体的には、色にじみ除去部１０５は、Ｂ＿ｌｅａｐとＧ＿ｌｅａｐの比が所定の第１の閾値ＴＨ１より大きい（Ｂ＿ｌｅａｐ／Ｇ＿ｌｅａｐ＞ＴＨ１）場合に、その画素位置ｐｏｓの画素には色にじみが生じていると判定する。
【００３９】
図３（Ｃ）は、横軸が画素位置（ｐｏｓ）を示し、縦軸が信号傾斜の比を示している。図３（Ｃ）の曲線２２１は、第１の補間信号のＢプレーンにおける信号傾斜Ｂ＿ｌｅａｐと第１の補間信号のＧプレーンにおける信号傾斜Ｇ＿ｌｅａｐとの比を表している。なお、図３（Ｃ）の曲線２２２の説明については後述する。
【００４０】
ここで、図３（Ｃ）の例において、第１の閾値ＴＨ１の値が例えば「２」である場合、Ｂ＿ｌｅａｐとＧ＿ｌｅａｐの比が第１の閾値ＴＨ１より大きい（Ｂ＿ｌｅａｐ／Ｇ＿ｌｅａｐ＞ＴＨ１）条件を満たしているのは、画素位置ｐｏｓ１〜ｐｏｓ５までである。この場合、画素位置ｐｏｓ１〜ｐｏｓ５までは色にじみが生じていると判定されることになり、画素位置ｐｏｓ６以降では色にじみは生じていないと判定されることになる。ただし、図３（Ｃ）の曲線２２１からわかるように、画素位置ｐｏｓ６付近は、Ｂ＿ｌｅａｐとＧ＿ｌｅａｐの比が第１の閾値ＴＨ１の「２」より小さいものの、実際には色にじみが生じている。しかしながら、第１の補正信号から求められる信号傾斜Ｂ＿ｌｅａｐとＧ＿ｌｅａｐの比と第１の閾値ＴＨ１との比較のみでは、画素位置ｐｏｓ６付近に生じている色にじみは検出できない。この場合、後に行われる色にじみ除去処理において、画素位置ｐｏｓ６付近の色にじみは除去されずに、色にじみが残留してしまうことになる。
【００４１】
このため、色にじみ除去部１０５は、信号傾斜Ｂ＿ｌｅａｐとＧ＿ｌｅａｐの比と第１の閾値ＴＨ１との比較で色にじみが生じていないと判定された領域については、更に、色にじみの発生が元々少ない第２の補間信号を用いて色にじみの有無を判定する。本実施形態の場合、色にじみ除去部１０５は、第１の補間信号のＢプレーンの信号傾斜Ｂ＿ｌｅａｐと、第２の補正信号のＢプレーンの信号傾斜（Ｂ２＿ｌｅａｐとする。）との比が大きい画素位置ｐｏｓの画素には色にじみが生じていると判定する。より具体的には、色にじみ除去部１０５は、Ｂ＿ｌｅａｐとＢ２＿ｌｅａｐの比が所定の第２の閾値ＴＨ２より大きい（Ｂ＿ｌｅａｐ／Ｂ２＿ｌｅａｐ＞ＴＨ２）場合に、その画素位置の画素には色にじみ（青色にじみ）が生じていると判定する。なお、第２の補間信号のＢプレーンにおける信号傾斜Ｂ２＿ｌｅａｐは、前述した式（１）において変数Ｂ（ｐｏｓ＋１）とＢ（ｐｏｓ−１）を、第２の補間信号のＢプレーンにおける着目画素の周辺画素の画素値にすることにより算出可能である。本実施形態の場合、第２の補間信号のＢプレーンにおける信号傾斜Ｂ２＿ｌｅａｐは、生成手段により生成される第２の傾きに相当する。
【００４２】
図３（Ｃ）の曲線２２２は、第１の補正信号のＢプレーンにおける信号傾斜Ｂ＿ｌｅａｐと、第２の補正信号のＢプレーンにおける信号傾斜Ｂ２＿ｌｅａｐとの比を表している。図３（Ｃ）の例の曲線２２２からわかるように、例えば第２の閾値ＴＨ２の値を「２」とした場合、曲線２２２が第２の閾値ＴＨ２の「２」を下回るのは、画素位置ｐｏｓ９以降である。したがって、この場合、色にじみ除去部１０５は、画素位置ｐｏｓ１〜ｐｏｓ５だけでなく、画素位置ｐｏｓ６〜ｐｏｓ８まで色にじみが生じていると判定することができる。これにより、後に行われる色にじみ除去処理では、画素位置ｐｏｓ８まで色にじみを除去することが可能になる。
【００４３】
図４は、色にじみ除去部１０５における色にじみの判定から除去までの流れを示すフローチャートである。図４のフローチャートの処理は色にじみ除去部１０５により行われるが、本実施形態に係るプログラムを例えばＣＰＵが実行することにより実現されてもよい。本実施形態に係るプログラムは、例えば不図示のＲＯＭ等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のＲＡＭ等にロードされてもよい。以下の説明では、図４の各処理のステップＳ３０１〜ステップＳ３０７をＳ３０１〜Ｓ３０７と略記し、これは他のフローチャートについても同様とする。
【００４４】
図４のフローチャートの処理は、例えばユーザから撮影開始が指示されることでスタートする。図４のフローチャートの処理がスタートすると、色にじみ除去部１０５は、Ｓ３０１の処理として、第１の空間演算処理を行う。本実施形態において、第１の空間演算処理は、下記式（３）、式（４）に示すような演算処理となされている。なお、式（３）、式（４）は、前述した式（１）、式（２）をより詳細に表した式である。第１の空間演算処理では、式（３）により第１の補間信号のＢプレーンにおける信号傾斜Ｂ＿ｌｅａｐが算出され、式（４）により第１の補間信号のＧプレーンの信号傾斜Ｇ＿ｌｅａｐが算出される。
【００４５】
【数２】
2017183813.tif 000004
【００４６】
ここで、式（３）、式（４）の式中のＧ（ｘ＋１，ｙ）は第１の補間信号のＧプレーンにおける着目画素の右隣の画素値であり、Ｂ（ｘ＋１，ｙ）は第１の補間信号のＢプレーンにおける着目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）は第１の補間信号のＧプレーンにおける着目画素の左隣の画素値であり、Ｂ（ｘ−１，ｙ）は第１の補間信号のＢプレーンにおける着目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）は第１の補間信号のＧプレーンにおける着目画素の下隣の画素値であり、Ｂ（ｘ，ｙ＋１）は第１の補間信号のＢプレーンにおける着目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）は第１の補間信号のＧプレーンにおける着目画素の上隣の画素値であり、Ｂ（ｘ，ｙ−１）は第１の補間信号のＢプレーンにおける着目画素の上隣の画素値である。前述した図３（Ａ）の例の場合、第１の補間信号のＢプレーンは曲線２０１、第１の補間信号のＧプレーンは曲線２０２に相当する。Ｓ３０１の後、色にじみ除去部１０５は、Ｓ３０２に処理を進める。
【００４７】
Ｓ３０２では、色にじみ除去部１０５は、第１の補間信号のＢプレーンの着目画素が、色にじみが生じている領域（以下、色にじみ領域と表記する。）の画素であるか否かを判定する。具体的には、色にじみ除去部１０５は、式（３）と式（４）で求めた信号傾斜Ｂ＿ｌｅａｐとＧ＿ｌｅａｐとの比を算出し、その比が第１の閾値ＴＨ１より大きい場合には、着目画素は色にじみ領域の画素であると判定して、Ｓ３０５に処理を進める。一方、色にじみ除去部１０５は、信号傾斜Ｂ＿ｌｅａｐとＧ＿ｌｅａｐとの比が、第１の閾値以下（Ｂ＿ｌｅａｐ／Ｇ＿ｌｅａｐ≦ＴＨ１）である場合には、着目画素は色にじみ領域の画素でないと判定して、Ｓ３０３に処理を進める。
【００４８】
Ｓ３０３に進むと、色にじみ除去部１０５は、第２の空間演算処理を行う。第２の空間演算処理は、下記式（５）により、第２の補間信号のＢプレーンに対する信号傾斜Ｂ２＿ｌｅａｐを算出する処理である。
【００４９】
【数３】
2017183813.tif 000005
【００５０】
式（５）の式中のＢ２（ｘ＋１，ｙ）は第２の補間信号のＢプレーンにおける着目画素の右隣の画素値であり、Ｂ２（ｘ−１，ｙ）は第２の補間信号のＢプレーンにおける着目画素の左隣の画素値である。Ｂ２（ｘ，ｙ＋１）は第２の補間信号のＢプレーンにおける着目画素の下隣の画素値であり、Ｂ２（ｘ，ｙ−１）は第２の補間信号のＢプレーンにおける着目画素の上隣の画素値である。なお、前述した図３（Ａ）の例の場合、第２の補間信号のＢプレーンは曲線２０３に相当する。Ｓ３０３の後、色にじみ除去部１０５は、Ｓ３０４に処理を進める。
【００５１】
Ｓ３０４では、色にじみ除去部１０５は、Ｓ３０２で色にじみ領域の画素でないと判定された、第１の補間信号のＢプレーンの着目画素について、更に、色にじみの発生が元々少ない第２の補間信号を用いて、色にじみが生じているか否かを判定する。具体的には、Ｓ３０４において、色にじみ除去部１０５は、式（３）で求めた第１の補間信号のＢプレーンに対する信号傾斜Ｂ＿ｌｅａｐと、式（５）で求めた第２の補間信号のＢプレーンに対する信号傾斜Ｂ２＿ｌｅａｐとの比を算出する。そして、色にじみ除去部１０５は、その比が第２の閾値ＴＨ２より大きい場合には、着目画素は色にじみ領域の画素であると判定して、Ｓ３０５に処理を進める。一方、色にじみ除去部１０５は、信号傾斜Ｂ＿ｌｅａｐとＢ２＿ｌｅａｐとの比が、第２の閾値以下（Ｂ＿ｌｅａｐ／Ｂ２＿ｌｅａｐ≦ＴＨ２）である場合には、着目画素は色にじみ領域の画素でないと判定して、その着目画素に対する図４の処理を終了する。
【００５２】
Ｓ３０５の処理に進んだ場合、色にじみ除去部１０５は、Ｓ３０２とＳ３０４で色にじみ領域であると判定された画素について、色にじみ量を算出（推定）する。本実施形態では、色にじみ除去部１０５は、色にじみ除去対象である第１の補間信号のＢプレーンの信号傾斜Ｂ＿ｌｅａｐに基づいて色にじみ量を算出する。具体的には、色にじみ除去部１０５は、下記の式（６）に示すように、第１の補間信号のＢプレーンにおける信号傾斜Ｂ＿ｌｅａｐの絶対値に係数ｋ（ｋ＞０）を乗じた値を、推定色にじみ量Ｅとして算出する。Ｓ３０５の後、色にじみ除去部１０５は、Ｓ３０６に処理を進める。
Ｅ＝ｋ×｜Ｂ＿ｌｅａｐ｜        ・・・式（６）
【００５３】
Ｓ３０６では、色にじみ除去部１０５は、過除去抑制処理を行う。過除去抑制処理は、推定色にじみ量Ｅを修正し、実際に除去する量Ｅ'を求める処理である。すなわち、Ｓ３０５で算出した推定色にじみ量Ｅは、一定のモデルに沿ったものであり、実際の色にじみ量とは必ずしも一致しない。例えば、同じＢプレーンとして検出される青色光であっても、例えば波長４５０ｎｍの光と波長４００ｎｍの光とでは、にじみ方が変化する。Ｓ３０５の式（６）では、このような波長による色にじみの変化については考慮していないため、推定色にじみ量Ｅが実際よりも例えば小さい場合には、青色にじみの除去を行った後の画像には若干の青みが残る。一方、推定色にじみ量Ｅが実際よりも例えば大きい場合には、青色にじみの除去後の画像は若干黄緑色になってしまう。特に後者の例のように推定色にじみ量Ｅが実際より大きい場合には、ユーザにとって不自然で大きな違和感が残る画像となる。
【００５４】
このため、色にじみ除去部１０５は、Ｓ３０６の過除去抑制処理として、一定の色相範囲内でのみ、色にじみ除去が行われるように、色にじみ除去を制限する。具体的には、色にじみ除去部１０５は、先ず、式（７）〜式（９）により、第１の補間信号の色にじみ除去対象であるＢプレーンの画素の色度を計算する。
【００５５】
【数４】
2017183813.tif 000006
【００５６】
ａ＝５（ｘ−ｙ）      ・・・式（８）
ｂ＝５（ｙ−ｚ）      ・・・式（９）
【００５７】
ここで、図５は、式（８）と式（９）の色度座標（ａ，ｂ）面を示す図である。図５の色度座標（ａ，ｂ）面において、青色は、第４象限にあり、Ｂプレーンの画素値（信号強度）から推定色にじみ量Ｅを除去すると、色度は図中点線矢印のように左上方向へ移動する。図中点線矢印の始点が除去前の色度であり、点線矢印の先端が推定色にじみ量Ｅの除去後の色度である。このことから、色にじみ除去部１０５は、推定色にじみ量Ｅにより作用する色相範囲を、ａ'＞０で且つｂ'＜０に制限する。具体的には、式（１０）により色相範囲を制限する。
Ｂ＞0.22Ｒ＋0.68Ｇ  且つ、Ｂ＞−1.84Ｒ＋3.30Ｇ    ・・・式（10）
【００５８】
このため、色にじみ除去部１０５は、Ｓ３０６において、先ず色相範囲の条件を満たさない画素に対しては除去量Ｅ'＝０とし、Ｓ３０７の色にじみ除去処理における除去対象から外す。これにより、除去対象から外された画素は、Ｓ３０７における色にじみ除去処理では除去されず、Ｓ３０７の色にじみの除去処理によって画素値が影響を受けることはない。このように、色にじみ除去部１０５は、Ｓ３０７において、色相範囲の条件を満たす画素のみを色にじみ除去対象として色にじみ除去を行う。
【００５９】
さらに、色にじみ除去部１０５は、色相範囲の条件を満たす画素に対しても、除去量Ｅ'を例えば式（１１）により修正して、Ｓ３０７の色にじみ除去処理を行うようにしてもよい。
Ｅ'＝min（Ｅ，Ｂ−(0.22Ｒ＋0.68Ｇ)，Ｂ−(−1.84Ｒ＋3.30Ｇ))  ・・・式（11）
【００６０】
この式（１１）の除去量Ｅ'による色にじみ除去がなされた場合、色にじみ除去による色度変化は、図５中に実線矢印で示したように第４象限内に留まるようになる。なお、図５中実線矢印の始点は除去前の色度であり、実線矢印の先端は除去量Ｅ'による色にじみ除去後の色度である。これにより、Ｓ３０７での除去処理により色相範囲を超えるようなＢプレーンに対する過除去が行われるのを防ぐことができる。
【００６１】
色にじみ除去部１０５は、Ｓ３０７で色にじみの除去を行うが、式（１２）のように、前述した除去量Ｅ'をＢプレーンの信号強度から差し引くことで、新たなＢプレーンを生成してもよい。
Ｂ＝Ｂ−Ｅ'      ・・・式（12）
【００６２】
なお、前述の説明では、信号傾斜Ｂ＿ｌｅａｐと信号傾斜Ｂ２＿ｌｅａｐとの比をとることで色にじみ領域判定を行ったが、例えば、信号傾斜Ｂ＿ｌｅａｐと信号傾斜Ｂ２＿ｌｅａｐの差分を用いて色にじみ領域判定を行ってもよい。
【００６３】
また、前述の説明では、色にじみ除去対象をＢプレーンとしたが、色にじみ除去対象はＲプレーンであっても、前述同様にして色にじみ除去を行うことができる。色にじみ除去対象がＲプレーンの場合の処理は、前述したＢプレーンが色にじみ除去対象である場合と同様の処理で実現可能であるため、その説明は省略する。
【００６４】
以上説明したように、撮像装置は、本撮影で撮影された第１の撮影画像から得られた第１の補間信号について、軸上色収差に起因した色にじみが生じているか否かの色にじみ判定を行っている。これとともに、本実施形態の撮像装置は、第１の補間信号において色にじみが生じていないと判定された画素について、本撮影時よりも絞りを絞った第２の撮影画像から得られた第２の補間信号をも用いた色にじみ判定を行う。すなわち、絞りを絞って撮影した画像には軸上色収差の発生量が少なくなることを考慮し、本実施形態の撮像装置は、本撮影時よりも絞りを絞った状態で撮影した第２の撮影画像を基に色にじみ判定を行うようにしている。これにより、本実施形態の撮像装置は、軸上色収差に起因する色にじみを精度良く検出可能となる。そして、本実施形態の撮像装置は、本撮影による第１の撮影画像の中で色にじみが生じていると判定された色にじみ領域に対して、色にじみ除去処理を行う。したがって、本実施形態の撮像装置によれば、軸上色収差に起因する色にじみを精度良く且つ効果的に補正可能となる。
【００６５】
＜第２の実施形態＞
第２の実施形態の撮像装置について説明する。第２の実施形態の撮像装置の構成は前述した図１（Ａ）、図１（Ｂ）と同じであるため、図示は省略する。以下、第１の実施形態と同じ構成と処理については説明を省略し、第１の実施形態とは異なる点について説明する。第２の実施形態の撮像装置の場合、色にじみ除去部１０５における処理が第１の実施形態の場合とは異なる。
【００６６】
図６は、第２の実施形態の色にじみ除去部１０５における色にじみ領域の検出（判定）から除去までの流れを示すフローチャートである。図６のフローチャートの処理は色にじみ除去部１０５により行われるが、第２の実施形態に係るプログラムを例えばＣＰＵが実行することにより実現されてもよい。第２の実施形態に係るプログラムは、第１の実施形態の場合と同様に、不図示のＲＯＭや外部記憶媒体、インターネット等のネットワークからダウンロードされて、不図示のＲＡＭ等にロードされる。
【００６７】
図６のフローチャートにおいてＳ６０１は前述した図４のＳ３０１と同じ処理である。以下同様に、Ｓ６０２はＳ３０２、Ｓ６０４はＳ３０３、Ｓ６０５はＳ３０４、Ｓ６０６はＳ３０５、Ｓ６０７はＳ３０６、Ｓ６０８はＳ３０７と概ね同じ処理である。第２の実施形態の場合、色にじみ除去部１０５は、Ｓ６０２において色にじみ領域でないと判定された場合、Ｓ６０３に処理を進める。
【００６８】
Ｓ６０３では、色にじみ除去部１０５は、局所動体領域判定処理として、第１の補間信号と第２の補間信号との間で、対象領域の画素が動体の被写体に対応した動体領域の画素であるか否かを判定する。動体領域の判定処理については、例えば公知の動きベクトルを基にした判定方法など各種公知の技術を用いることができるため、ここではその詳細な説明は省略する。なお、動体領域の判定処理は位置合わせ部１１５にて行われてもよい。位置合わせ部１１５が動体領域を判定する場合、色にじみ除去部１０５は、位置合わせ部１１５から動体領域の判定結果を示す情報を取得する。色にじみ除去部１０５は、Ｓ６０３において対象領域の画素が動体領域の画素であると判定した場合には、その画素について図６のフローチャートの処理を終了する。一方、色にじみ除去部１０５は、Ｓ６０３において動体領域の画素でないと判定した場合には、Ｓ６０４に処理を進める。Ｓ６０４以降の処理は図４のフローチャートのＳ３０３以降の処理と同様である。
【００６９】
このように、第２の実施形態の場合、色にじみ除去部１０５は、第１，第２の補間信号を用いた動体領域判定処理により、対象領域が動体領域であるか否かを判定している。そして、色にじみ除去部１０５は、対象領域が動体領域でない場合には、第１の実施形態と同様に第１の補間信号を用いた色にじみ判定で色にじみが生じていないとされた画素について、更に第２の補間信号をも用いた色にじみ判定を行う。一方、対象領域が動体領域である場合、色にじみ除去部１０５は、第１の補間信号を用いた色にじみ判定のみを行い、第２の補間信号をも用いた色にじみ判定は行わない。これにより、第２の実施形態では、動体領域を色にじみ領域として誤って判定して、色にじみ除去を行ってしまうことを回避可能となっている。したがって、第２の実施形態によれば、動体領域とそれ以外の非動体領域の両方について、精度の高い色にじみ領域の検出と色にじみ除去とが可能となる。
【００７０】
＜第３の実施形態＞
第３の実施形態の撮像装置について説明する。図７（Ａ）と図７（Ｂ）は第３の実施形態の撮像装置の概略構成を示す図である。図７（Ａ）は第１の実施形態の図１（Ａ）と同様に撮影レンズ１３０〜補間処理部１０４までが１系統となされた第３の実施形態の撮像装置の構成例である。図７（Ｂ）は第１の実施形態の図１（Ｂ）と同様に撮影レンズ１３０ａ，１３０ｂから補間処理部１０４ａ，１０４ｂまでが２系統となされた第３の実施形態の撮像装置の構成例である。図７（Ａ）と図７（Ｂ）に示す第３の実施形態の撮像装置において、第１の実施形態の撮像装置と同様の構成には図１（Ａ）と図１（Ｂ）と同一の参照符号を付してそれらの説明は省略する。以下、第３の実施形態において、第１の実施形態とは異なる点について説明する。
【００７１】
第３の実施形態の撮像装置は、第１，第２の実施形態の位置合わせ部１１５に代えて、倍率位置補正部５１５を有している。倍率位置補正部５１５は、第２の補間信号の各色プレーンの画像に対して、像倍率補正処理と位置合わせ処理とを行う。すなわち、本実施形態において、倍率位置補正部５１５は、第２の撮影画像に対し、像倍率補正と、第１の撮影画像に対する位置合わせとを行う補正手段に相当する。
【００７２】
ここで、第２の補間信号の元画像である第２の撮像画像は、第１の補間信号の元画像である第１の撮像画像よりも絞った状態で撮影された画像であり、第１の撮影画像よりも暗い画像となる。例えば第１の撮像画像と同じ明るさの第２の撮影画像を得ようとする場合には、第１の撮影画像の撮影時よりも、シャッター速度を遅くした撮影が行われることになる。ただし、シャッター速度が遅くなると、被写体ぶれや手ぶれによって、光軸に対して直交する方向のぶれだけでなく、光軸方向（ピント方向）の像ぶれも生じ易くなり、光軸方向の像ぶれは像倍率の変化として表れる。このように像倍率が変化すると、第１の補間信号と第２の補間信号との間の位置合わせの際に、例えば画像のエッジ位置を合わせ難くなることがある。
【００７３】
このようなことから、第３の実施形態の倍率位置補正部５１５は、第１の補間信号と第２の補間信号との間の位置合わせの際に、第２の補間信号に対し、像倍率の変化を補正する。像倍率の変化の補正処理は、例えば特開２００７−４３６３７号公報等に記載の公知技術を用いることができるため詳細な説明は省略する。このように、倍率位置補正部５１５は、第２の補間信号に対する像倍率の変化の補正処理と、その像倍率補正後の第２の補間信号の画像を第１の補間信号の画像に合わせる位置合わせ処理とを行う。なお、位置合わせ処理は、前述の第１，第２の実施形態の位置合わせ処理と同様の処理であるためその説明は省略する。
【００７４】
第３の実施形態によれば、倍率位置補正部５１５にて像倍率補正処理と位置合わせ処理を行うことで、光軸方向の像ぶれ等の影響により像倍率が変化した場合でも、第１の補間信号と第２の補間信号との間の画像位置を、正確に合わせることが可能となる。これにより、第３の実施形態の撮像装置は、精度の高い色にじみ領域の判定と色にじみ除去が可能となる。
【００７５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７６】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７７】
１０１，１０１ａ，１０１ｂ  撮像部、１３１，１３１ａ，１３１ｂ  メカ機構（絞り）、１０４，１０４ａ，１０４ｂ  補間処理部、１０５  色にじみ除去部、１１０  メモリ部、１１５  位置合わせ部、５１５  倍率位置補正部、１２０  制御部
【図１】
2017183813.tif 000007
【図２】
2017183813.tif 000008
【図３】
2017183813.tif 000009
【図４】
2017183813.tif 000010
【図５】
2017183813.tif 000011
【図６】
2017183813.tif 000012
【図７】
2017183813.tif 000013