(57)【要約】【課題】画像処理によって撮像により得られた画像からゴースト像を除去する。【解決手段】画像処理装置６は、互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の第２の原画像に対する差分に対応する第１の差分画像ａ、及び第２の原画像の第１の原画像に対する差分に対応する第２の差分画像ｂを生成する差分画像生成部６ａと、第２の差分画像を用いて、第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定部６ｂと、第１の差分画像の輝度を２値化した２値化輝度画像、第２の原画像及びゴースト領域を特定するデータを用いて、第２の原画像からゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理部６ｃとを有する。【選択図】図３
2008228181.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の前記第２の原画像に対する差分に対応する第１の差分画像、及び前記第２の原画像の前記第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成部と、
前記第２の差分画像を用いて、前記第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定部と、
前記第１の差分画像の輝度を２値化した２値化輝度画像、前記第２の原画像及び前記ゴースト領域を特定するデータを用いて、前記第２の原画像から前記ゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理部とを有することを特徴とする画像処理装置。
【請求項２】
互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の前記第２の原画像に対する差分に対応する第１の差分画像、及び前記第２の原画像の前記第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成部と、
前記第１及び第２の原画像の彩度を２値化した第１及び第２の彩度２値化画像を生成する彩度画像生成部と、
前記第１の差分画像を２値化した第１の２値化輝度画像と前記第１の彩度２値化画像との論理積画像である第１の修正２値化輝度画像を生成し、かつ前記第２の差分画像を２値化した第２の２値化輝度画像と前記第２の彩度２値化画像との論理積画像である第２の修正２値化輝度画像を生成し、前記第２の修正２値化輝度画像を用いて前記第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定部と、
前記の第１の修正２値化輝度画像、前記第２の原画像及び前記ゴースト領域を特定するデータを用いて、前記第２の原画像から前記ゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理部とを有することを特徴とする画像処理装置。
【請求項３】
前記第１の原画像は、前記第２の原画像よりも撮像時のＦ値が小さい画像であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ゴースト補正処理部は、前記第２の原画像における前記ゴースト領域の周辺の領域の画素情報を用いて前記ゴースト領域を除去するための処理を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
撮像光学系により形成された被写体像を光電変換して前記第１及び第２の原画像を生成する撮像系と、
請求項１から４のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項６】
前記撮像系は、前記第１及び第２の原画像の撮像時において、Ｆ値を異ならせるとともに露光量が同じになるように撮像時間を異ならせることを特徴とする請求項５に記載の撮像装置。
【請求項７】
コンピュータに、
互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の前記第２の原画像に対する差分に対応する第１の差分画像、及び前記第２の原画像の前記第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成ステップと、
前記第２の差分画像を用いて、前記第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定部ステップと、
前記第１の差分画像の輝度を２値化した２値化輝度画像、前記第２の原画像,
前記ゴースト領域を特定するデータを用いて、前記第２の原画像から前記ゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理ステップと、
を含む画像処理を実行させることを特徴とする画像処理プログラム。
【請求項８】
コンピュータに、
互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の前記第２の原画像に対する差分に対応する第１の差分画像、及び前記第２の原画像の前記第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成ステップと、
前記第１及び第２の原画像の彩度を２値化した第１及び第２の彩度２値化画像を生成する彩度画像生成ステップと、
前記第１の差分画像を２値化した第１の２値化輝度画像と前記第１の彩度２値化画像との論理積画像である第１の修正２値化輝度画像を生成し、かつ前記第２の差分画像を２値化した第２の２値化輝度画像と前記第２の彩度２値化画像との論理積画像である第２の修正２値化輝度画像を生成し、前記第２の修正２値化輝度画像を用いて前記第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定ステップと、
前記の第１の修正２値化輝度画像、前記第２の原画像及び前記ゴースト領域を特定するデータを用いて、前記第２の原画像から前記ゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理ステップと、
を含む画像処理を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により取得された画像からゴースト像を除去する処理を行う画像処理技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラ等の撮像装置では、撮像光学系に入射した光の一部が撮像光学系内で反射して結像性を十分に持たない光として撮像面に入射する場合がある。このような光は、結像性を十分持った光（以下、結像光という）により形成される本来の被写体像とは別の像、すなわちゴースト像を形成する。これにより、撮像装置により得られる画像の画質が低下する。
【０００３】
ゴースト像は、結像性を十分に持たない光（以下、非結像光という）によって形成される、視覚的には像面上で結像しているとみなせる像をいう。
【０００４】
従来は、特許文献１にて開示されているように、光学的にゴースト像を形成する光を除外していた。これにより、結像光によって形成された被写体像のみが現れた良質な画像を得ることが可能となる。
【０００５】
一方、最近では、光線追跡シミュレーションによってゴースト像やフレアの発生領域及びその形状の解析が可能になってきており、その結果を用いた画像処理技術によってフレアを除去する手法が特許文献２，３に開示されている。フレアは、上述した非結像光が像を結ばない状態をいう。
【特許文献１】特開２００３−２４１１３０号公報
【特許文献２】特許第３３７２２０９号公報
【特許文献３】特開平９−２３８３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１にて開示された光学系によるゴースト除去方法では、光学系における物理的制限によって撮像装置に形状的な制約が生じ、撮像装置の小型化や設計自由度が妨げられる可能性がある。
【０００７】
また、特許文献２，３にて開示された画像処理技術は、フレアによる画像への影響を低減させることはできるものの、ゴースト像を除去するまでには至っていない。
【０００８】
本発明は、画像処理技術によって撮像により得られた画像からゴースト像を除去することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての画像処理装置は、互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の第２の原画像に対する差分に対応する第１の差分画像、及び第２の原画像の第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成部と、第２の差分画像を用いて、第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定部と、第１の差分画像の輝度を２値化した２値化輝度画像、第２の原画像及びゴースト領域を特定するデータを用いて、第２の原画像からゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理部とを有することを特徴とする。
【００１０】
また、本発明の他の側面としての画像処理装置は、互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の第２の原画像に対する差分に対応する第１の差分画像、及び第２の原画像の第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成部と、第１及び第２の原画像の彩度を２値化した第１及び第２の彩度２値化画像を生成する彩度画像生成部と、第１の差分画像を２値化した第１の２値化輝度画像と該第１の彩度２値化画像との論理積画像である第１の修正２値化輝度画像を生成し、かつ第２の差分画像を２値化した第２の２値化輝度画像と、第２の彩度２値化画像との論理積画像である第２の修正２値化輝度画像を生成し、第２の修正２値化輝度画像を用いて第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定部と、第１の修正２値化輝度画像、第２の原画像及びゴースト領域を特定するデータを用いて、第２の原画像からゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理部とを有することを特徴とする。
【００１１】
なお、撮像光学系により形成された被写体像を光電変換して第１及び第２の原画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も本発明の他の側面を構成する。
【００１２】
さらに、本発明の他の側面としての画像処理プログラムは、コンピュータに、互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の第２の原画像に対する差分に対応する第１の差分画像、及び第２の原画像の第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成ステップと、第２の差分画像を用いて、第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定ステップと、第１の差分画像の輝度を２値化した２値化輝度画像、第２の原画像及びゴースト領域を特定するデータを用いて、第２の原画像からゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理ステップとを含む画像処理を実行させることを特徴とする。
【００１３】
また、本発明の他の側面としての画像処理プログラムは、コンピュータに、互いに異なるＦ値での撮像により得られた第１及び第２の原画像から、該第１の原画像の第２の原画像に対する差分に対応する第１の差分画像、及び第２の原画像の第１の原画像に対する差分に対応する第２の差分画像を生成する差分画像生成ステップと、第１及び第２の原画像の彩度を２値化した第１及び第２の彩度２値化画像を生成する彩度画像生成ステップと、第１の差分画像を２値化した第１の２値化輝度画像と該第１の彩度２値化画像との論理積画像である第１の修正２値化輝度画像を生成し、かつ第２の差分画像を２値化した第２の２値化輝度画像と第２の彩度２値化画像との論理積画像である第２の修正２値化輝度画像を生成し、第２の修正２値化輝度画像を用いて第２の原画像におけるゴースト像が存在するゴースト領域を特定するゴースト領域特定ステップと、第１の修正２値化輝度画像、第２の原画像及びゴースト領域を特定するデータを用いて、第２の原画像からゴースト像を除去した画像に相当する補正画像を生成するゴースト補正処理ステップとを含む画像処理を実行させることを特徴とする。
【発明の効果】
【００１４】
一般に、Ｆ値が大きくなるほどゴースト像の空間分布は狭くなり、ピーク強度が増加する。このため、本発明は、Ｆ値が異なる原画像間のゴースト像の変化を利用して、画像処理技術によってゴースト像の領域を特定し、該ゴースト像を原画像から除去する。本発明によれば、画像処理技術を用いて原画像からゴースト像を除去することができ、良質な画像を提供できる画像処理装置、撮像装置及び画像処理プログラムを実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図２には、本発明の実施例１である撮像装置としてのデジタルスチルカメラ（以下、単にカメラという）の構成を示している。なお、本実施例では、レンズ一体型のカメラについて説明するが、本発明は、レンズ交換型のカメラやレンズ一体型又はレンズ交換型のビデオカメラにも適用することができる。
【００１７】
カメラは、複数のレンズ２ａや絞り２ｂを含む撮像光学系２とＣＣＤセンサやＣＭＯＳセンサ等の撮像素子３とによって構成される撮像系１を有する。また、カメラは、デジタル信号処理部５、画像劣化補正処理部６及び画像処理部７によって構成される電気信号処理部４も有する。さらに、これらの構成要素の駆動及び制御を行うＣＰＵ等のコントローラ９と、画像データやコンピュータプログラムを格納するメモリ部１０とを有する。出力画像メモリ８は、カメラに対して着脱可能な半導体メモリ、光ディスク等により構成されている。
【００１８】
以下、上記カメラの動作やカメラ内でのデータの流れについて説明する。
【００１９】
撮像光学系２を通過した光のうち大部分は、撮像素子３の受光面（撮像面又は像面）にて結像する。撮像素子３上に形成された被写体像は、撮像素子３によって光電変換され、電気信号（アナログ撮像信号）として出力される。撮像素子３から出力されたアナログ撮像信号は、電気信号処理部４内のデジタル信号処理部５へと転送される。
【００２０】
デジタル信号処理部５は、コントローラ９からの指示に応じて、転送されてきたアナログ撮像信号をデジタルデータに変換する。さらに、画素補間処理によって、Ｒ，Ｇ，Ｂの表色ごとの全画素画像データである原画像を生成する。
【００２１】
本実施例のカメラでは、撮像光学系２内の絞り２ｂの開口径をコントローラ９からの信号により変化させて、同一の撮像環境で、同一の被写体に対して、互いに異なるＦ値で２回の撮像を行い２つの原画像（第１及び第２の原画像）を生成する。このとき、コントローラ９は、２回の撮像時における撮像素子３の露光量が同じになるように、撮像素子３の露光時間（撮像時間）を変化させる。具体的には、撮像光学系２のＦ値をｎ倍に設定する場合は、露光時間をｎの自乗倍になるように設定する。一般的なデジタルスチルカメラには、Ｆ値が変わっても露光量が一定になるように露光時間を自動的に制御する機能を有するので、本実施例のカメラでもこの機能を用いる。
【００２２】
なお、露光量が同じ（又は一定）とは、完全に同一な場合に限らず、同一とみなせる程度の小さな差を有する場合も含む。
【００２３】
生成された２つの原画像のうち絞り２ｂの開口径が小さい（Ｆ値が大きい）状態で取得された原画像（第２の原画像：以下、大Ｆ値原画像という）は、最終的に出力される補正画像のベース画像としてメモリ部１０に記憶される。また、絞り２ｂの開口径が大Ｆ値原画像の取得時より大きい（Ｆ値が小さい）状態で取得された原画像（第１の原画像：以下、小Ｆ値原画像という）もメモリ部１０に記憶される。
【００２４】
大Ｆ値原画像及び小Ｆ値原画像は、さらに画像劣化補正処理部６に転送される。画像劣化補正処理部６は、コントローラ９からの指示に応じて、該２つの原画像に対して以下に説明する処理を行う。
【００２５】
画像劣化補正処理部６は、図３に示すように、差分画像データ作成処理部（差分画像生成部）６ａと、ゴースト領域特定部６ｂと、ゴースト補正処理部６ｃとにより構成されている。以下の説明において、原画像のうち非結像光により形成されたゴースト像が存在する部分をゴースト領域といい、結像光により形成された被写体画像の部分を背景画像領域という。
【００２６】
ここで、光学系によるゴースト像の一般的な性質について説明する。図１Ａ及び図１Ｂに示すように、光学系に入射した光の一部はレンズで複数回内部反射し、結像性を十分に持たない、言い換えれば結像光に比べて結像性が低い非結像光（ゴースト光ともいう）として撮像素子の受光面に到達する。これにより、受光面上で視覚的には結像しているとみなせるゴースト像が形成される。
【００２７】
露光量が一定の条件下においては、絞り（Ｆ値）を変化させても背景画像の明るさ（強度）は変化しない。しかし、ゴースト像を形成する光は結像性を十分に有していないので、図１Ａ及び図１Ｂの比較から分かるように、Ｆ値が大きくなるほどゴースト像の像面での分布範囲が小さくなり、その一方、露光時間が長くなるので強度は大きくなる。また、ゴースト像の中心は、Ｆ値が変化しても絞りにより非結像光が空間的に制限されるだけなので、ほぼ変わらないと考えてよい。つまり、ゴースト像は、Ｆ値が大きくなるほど、空間分布が同心円状に小さくなり、かつ強度が増す。また、ゴースト像は、Ｆ値にかかわらず、背景画像領域よりも大きい強度を有する。
【００２８】
本実施例では、このようなＦ値に応じたゴースト像の変化を利用し、互いにＦ値が異なる２つの原画像の差分に対応する差分画像内で輝度が残存する領域を、ゴースト像が存在するゴースト領域として特定する。
【００２９】
差分画像データ作成処理部６ａでは、互いにＦ値が異なる２つの原画像の差分に対応する画像データとしての差分画像を２つ生成する。
【００３０】
また、ゴースト領域特定部６ｂでは、1つの差分画像からゴースト領域を特定する処理を行う。
【００３１】
さらに、ゴースト補正処理部６ｃでは、特定されたゴースト領域内のゴースト像をベース画像としての大Ｆ値原画像から除去した画像に相当する補正画像を生成する処理を行う。なお、ここにいう除去とは、完全に無くする場合だけでなく、画像を観察したときにゴースト像が無いとみなせる（目立たない）程度に残像する場合も含む。
【００３２】
以下、画像劣化補正処理部６での処理を、図４のフローチャート及び図５〜７を用いて説明する。画像処理マイクロコンピュータとしての画像劣化補正処理部６は、その内部に格納された画像処理プログラムに従って本処理を実行する。なお、以下の説明において、原画像に含まれるゴースト像は１つと仮定する。これらのことは後述する実施例２でも同じである。また、以下の処理は、ＲＧＢの各色画像ごとに行われる。
【００３３】
前述したように、デジタル信号処理部５で生成された２つの原画像は、差分画像データ作成処理部６ａへと転送される。
【００３４】
ステップＭ１０１では、差分画像データ作成処理部６ａは、図５に示すように、２つの原画像間の輝度差に対応する差分画像を生成する。具体的には、全画素画像データである小Ｆ値原画像の各画素の輝度値から、同じく全画素画像データである大Ｆ値原画像の対応画素の輝度値を引くことで差分画像（第１の差分画像）ａを生成する。また、同様に、大Ｆ値原画像の各画素の輝度値から小Ｆ値原画像の対応画素の輝度値を引くことで差分画像（第２の差分画像）ｂを生成する。
【００３５】
差分画像ａは、小Ｆ値原画像の大Ｆ値原画像に対する差分に対応する画像であり、差分画像ｂは、大Ｆ値原画像の小Ｆ値原画像に対する差分に対応する画像である。
【００３６】
なお、原画像間において相互に対応する画素同士の輝度差が負になる場合は、差分画像内での対応画素の輝度値は０に設定する。差分画像ａ，ｂはメモリ部１０に格納されるとともに、ゴースト領域特定部６ｂにも転送される。
【００３７】
原画像において背景画像部分はＦ値によって変化しないので、差分画像にも反映されない（すなわち、差分画像上での輝度は０となる）。差分画像ａでは、小Ｆ値原画像中に存在していたゴースト領域に対応する領域に有限の輝度値が残る。ただし、このゴースト領域のうち、大Ｆ値原画像中に存在していたゴースト領域は、小Ｆ値原画像中のゴースト像よりも像面強度が大きいので、輝度差は負になり、差分画像ａ上での輝度値は０になる。これにより、差分画像ａは、大Ｆ値原画像中のゴースト領域から小Ｆ値原画像中のゴースト領域を差し引いた領域に有限の輝度値を持つことになる。
【００３８】
一方、差分画像ｂでは、大Ｆ値原画像中のゴースト領域に対応する領域の画素が有限の輝度値を持つことになる。
【００３９】
次に、ステップＭ１０２では、ゴースト領域特定部６ｂは、差分画像において有限輝度値を持つ画素のデータアドレス（以下、ゴーストアドレスという）の集合を、ゴースト領域としてメモリ部１０に記憶させる。ゴーストアドレスは、図６に示すように検索される。
【００４０】
差分画像bの画像全体から有限輝度値を持つ画素を検索し、その画素のアドレスをゴーストアドレスとする。このようにして、大Ｆ値原画像中のゴースト領域が抽出及び特定される。
【００４１】
次に、ステップＭ１０３〜Ｍ１０６において、ゴースト補正処理部６ｃにより小Ｆ値原画像からゴースト像を除去した補正画像が生成される。
【００４２】
まず、ステップＭ１０３では、メモリ部１０に格納された差分画像ａの全体に対して、有限輝度値を持たない画素の画素値を０とし、有限輝度値を持つ画素の画素値を１にする。すなわち、差分画像ａを２値化して差分変換画像（２値化輝度画像）を得る。
【００４３】
次に、ステップＭ１０４では、図７に示すように、差分変換画像の各画素の画素値と大Ｆ値原画像の対応画素の輝度値とで積をとる。これにより、大Ｆ値原画像の背景画像領域のうちゴースト領域の周辺の領域（小Ｆ値原画像のゴースト領域から大Ｆ値原画像のゴースト領域を差し引いた領域に相当する）のみが有限輝度値を有するゴースト周辺背景画像が生成される。
【００４４】
次に、ステップＭ１０５では、ゴースト周辺背景画像全体を検索し、有限輝度値を有する画素の輝度値（画素情報）の平均値（輝度平均値）を算出する。
【００４５】
そして、ステップＭ１０２で特定されたゴーストアドレスのデータを参照しながら、大Ｆ値原画像のゴースト領域に含まれているすべての画素の輝度値を上記輝度平均値で置き換える。すなわち、大Ｆ値原画像中のゴースト領域を、該ゴースト領域の周辺の背景画像に相当する画像で置き換える処理を行う。こうして、大Ｆ値原画像からゴースト領域（ゴースト像）が除去された画像に相当する補正画像が生成される。
【００４６】
補正画像は、画像処理部７へと転送されて、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の最終的な画像処理を受ける。該画像処理後の補正画像は、出力画像として出力画像メモリ８に記録される。
【００４７】
以上説明したように、本実施例では、互いに異なるＦ値での撮像により取得された２つの原画像間の差分に対応する２つの差分画像を生成し、該１つの差分画像を用いて一方の原画像におけるゴースト領域（ゴーストアドレス）を特定する。そして、該一方の原画像のゴースト領域の周辺領域である、他方の原画像の背景画像領域に含まれる範囲の輝度平均値で該ゴースト領域内の画素の輝度値を補正することで、他方の原画像からゴースト像を除去した画像に相当する補正画像を生成する。このとき、一方の差分画像を２値化した画像は、補正画像を生成するためのゴースト領域補正用の輝度値を算出するために用いる。
【００４８】
本実施例によれば、ゴースト像が除去された良質な画像（補正画像）をユーザに提供することができる。
【００４９】
そして、本実施例では、ゴースト領域を該ゴースト領域周辺の背景画像を用いて補正するため、見た目に自然な補正画像を得ることができる。本実施例では、ゴースト像の補正に背景画像の輝度平均値を用いるため、晴天時の青空など、ゴースト像周辺の背景画像領域の輝度値にあまり差がない場合に特に有効である。
【００５０】
さらに本実施例では、ゴースト像の位置や形状についてのシミュレーションデータを必要とせず、膨大なシミュレーションデータを保持しておくための大容量の記憶装置も不要とすることができる。  
【００５１】
また、本実施例によれば、画像処理によってゴースト除去（補正）処理を行うので、光学系にゴースト除去を行う場合に比べて、光学系の設計自由度が高くなり、また光学系の小型化にも寄与する。
【実施例２】
【００５２】
本発明の実施例２である撮像装置としてのデジタルスチルカメラについて説明する。撮像装置の基本的構成は、実施例１において図２を用いて説明したものと同じである。このため、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。また、撮像装置における基本的な命令及びデータの流れも、実施例１と同じである。
【００５３】
但し、本実施例では、画像劣化補正処理部６′の構成が実施例１の画像劣化補正処理部６とは異なる。すなわち、図８に示すように、差分画像データ作成処理部（差分画像生成部）６ａ、ゴースト領域特定部６ｂ及びゴースト補正処理部６ｃに加えて、色相変換処理部６ｄ及び高彩度領域抽出処理部（彩度画像生成部）６ｅが設けられている。色相変換処理部６ｄ及び高彩度領域抽出処理部６ｅは、差分画像データ作成処理部６ａと並列に設けられている。また、本実施例では、ゴースト像に関する彩度閾値がメモリ部１０に予め格納されている。彩度閾値は、調整可能な値である。
【００５４】
色相変換処理部６ｄは、出力画像を不図示のモニタを通じてユーザに観察させる画像出力系に適した色相変換により、原画像から彩度画像を分離する。また、ゴースト像は一般に背景画像よりも彩度が高いことから、本実施例では、高彩度領域抽出処理部６ｅを設けている。原画像から分離された彩度画像から、メモリ部１０に格納された彩度閾値以上の高彩度を有する画像領域（高彩度画像領域）を抽出する。この高彩度画像領域と差分画像における有限輝度値を持つ領域との共通領域を、ゴースト領域特定部６ｂで判別することにより、実施例１よりも高精度なゴースト領域の特定が可能になる。
【００５５】
以下、本実施例における画像劣化補正処理部６′での処理を図９のフローチャート及び図１０〜１１を用いて説明する。本実施例の処理も、ＲＧＢの各色画像ごとに行われる。
【００５６】
実施例１と同様に、デジタル信号処理部５で生成された２つの原画像（大Ｆ値原画像及び小Ｆ値原画像）は、差分データ作成処理部６ａ及び色相変換処理部６ｄへと転送される。このとき、差分画像データ作成処理部６ａ及び色相変換処理部６ｄのそれぞれに転送される大Ｆ値原画像と小Ｆ値原画像の組を原画像セットという。
【００５７】
また、大Ｆ値原画像及び小Ｆ値原画像は、メモリ部１０にも格納される。
【００５８】
まずステップＭ２０１では、差分画像データ作成処理部６ａは、原画像セットを用いて実施例１と同様に、小Ｆ値原画像の各画素の輝度値から大Ｆ値原画像の対応画素の輝度値を引くことで差分画像（第１の差分画像）ａを生成する。また、大Ｆ値原画像の各画素の輝度値から小Ｆ値原画像の対応画素の輝度値を引くことで差分画像（第２の差分画像）ｂを生成する。
【００５９】
なお、本実施例でも、原画像間において相互に対応する画素同士の輝度差が負になる場合は、差分画像内での対応画素の輝度値は０に設定する。
【００６０】
次に、ステップＭ２０２では、差分画像データ作成処理部６ａは、差分画像ａ，ｂの全体に対して、有限輝度値を持たない画素の画素値を０とし、有限輝度値を持つ画素の画素値を１にする。すなわち、差分画像ａ，ｂをそれぞれ２値化して、差分変換画像（第１及び第２の２値化輝度画像）ａ′，ｂ′を得る。これらの差分変換画像ａ′，ｂ′は、ゴースト領域特定部６ｂへと転送される。
【００６１】
一方、ステップＭ２０３〜Ｍ２０５では、色相変換処理部６ｄ及び高彩度領域抽出処理部６ｅが、上述したステップＭ２０１、Ｍ２０２での処理に並行して、高彩度画像領域の抽出処理を行う。
【００６２】
まず、ステップＭ２０３において、色相変換処理部６ｄは、図１０に示すように、原画像セットの大Ｆ値原画像及び小Ｆ値原画像のそれぞれに対して、ＨＳＬ色相変換処理を行う。これにより、互いに異なるＦ値での撮像により取得された第１及び第２の彩度画像としての大Ｆ値彩度画像と小Ｆ値彩度画像が得られる。なお、ＨＳＬ色相変換処理とは、ＲＧＢ各２５６階調のカラー画像データをＨ（Hue: 色相）２５５段階、Ｓ（Saturation: 彩度）及びＬ（Luminosity: 明度）２５６ 段階に正規化する処理である。これら大Ｆ値彩度画像と小Ｆ値彩度画像は、高彩度領域抽出処理部６ｅへと転送される。
【００６３】
次にステップＭ２０４では、高彩度領域抽出処理部６ｅは、上記２つの彩度画像のそれぞれに対して、各画素の彩度がメモリ部１０に格納されている彩度閾値以上であるかどうかを判定する。
【００６４】
ステップＭ２０５では、高彩度領域抽出処理部６ｅは、図１０に示すように、彩度画像において彩度が彩度閾値以上の画素に対してはその画素値を１とし、彩度閾値以下の画素に対してはその画素値を０とする。これにより、互いにＦ値が異なる第１及び第２の彩度２値化画像としての小Ｆ値彩度２値化画像（第１の彩度２値化画像）と大Ｆ値彩度２値化画像（第２の彩度２値化画像）が生成される。なお、小Ｆ値彩度２値化画像と大Ｆ値彩度２値化画像は、小Ｆ値原画像及び大Ｆ値原画像のそれぞれの彩度を２値化した画像に相当する。大Ｆ値彩度２値化画像と小Ｆ値彩度２値化画像はゴースト領域特定部６ｂへと転送される。
【００６５】
ステップＭ２０６では、ゴースト領域特定部６ｂは、ステップＭ２０２で生成された２つの差分変換画像ａ′，ｂ′とステップＭ２０５で生成された小Ｆ値彩度２値化画像と大Ｆ値彩度２値化画像とを用いてゴースト領域を特定する処理を行う。
【００６６】
具体的には、まず図１１に示すように、差分変換画像ａ′と小Ｆ値彩度２値化画像の論理積から論理積画像ａ″（第１の修正２値化輝度画像）を求める。また、同様に、差分変換画像ｂ′と大Ｆ値彩度２値化画像の論理積から論理積画像ｂ″（第２の修正２値化輝度画像）を求める。論理積画像ａ″は、後のゴースト補正処理において用いられるため、メモリ部１０に格納される。
【００６７】
次にステップＭ２０７では、ゴースト領域特定部６ｂは、論理積画像ｂ″における画素値１を持つ画素に対応したゴーストアドレスの集合を、大Ｆ値原画像におけるゴースト領域として特定し、メモリ１０に記憶させる。
【００６８】
次に、ステップＭ２０８では、ゴースト補正処理部６ｃは、メモリ部１０に格納されている大Ｆ値原画像に関して、実施例１で図７を用いて説明した処理と同様のゴースト補正処理を行う。すなわち、メモリ部１０に格納された論理積画像ａ″の各画素の画素値と大Ｆ値原画像の対応画素の輝度値との積をとり、実施例１（図７）と同様のゴースト周辺背景画像を得る。ゴースト周辺背景画像は、大Ｆ値原画像の背景画像領域のうちゴースト領域の周辺の領域（小Ｆ値原画像のゴースト領域から大Ｆ値原画像のゴースト領域を差し引いた領域に相当する）のみが有限輝度値を有する画像である。
【００６９】
次に、ステップＭ２０９では、ゴースト周辺背景画像全体を検索し、有限輝度値を有する画素の輝度値（画素情報）の平均値（輝度平均値）を算出する。そして、ステップＭ２０７で特定されたゴーストアドレスのデータを参照しながら、大Ｆ値原画像においてゴースト領域に含まれているすべての画素の輝度値を上記輝度平均値で置き換える。すなわち、大Ｆ値原画像中のゴースト領域を、該ゴースト領域の周辺の背景画像に相当する画像で置き換える処理を行う。こうして、大Ｆ値原画像からゴースト領域（ゴースト像）が除去された画像に相当する補正画像が生成される。
【００７０】
補正画像は、画像処理部７へと転送されて、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の最終的な画像処理を受ける。該画像処理後の補正画像は、出力画像として出力画像メモリ８に記録される。
【００７１】
以上のように、本実施例では、互いに異なるＦ値で取得された２つの原画像間の差分に対応する２つの差分画像を生成し、さらに該２つの差分画像を２値化した２つの差分変換画像と、２つの原画像の高彩度領域を抽出した彩度画像との共通領域を求める。そして、この結果から、一方の原画像におけるゴースト領域（ゴーストアドレス）を特定し、同時に、該一方の原画像のゴースト領域の周辺領域である他方の原画像の背景画像領域に含まれる範囲の輝度平均値を求める。その後、求められた輝度平均値から該ゴースト領域内の画素の輝度値を補正することで、他方の原画像からゴースト像を除去した画像に相当する補正画像を生成する。
【００７２】
本実施例によれば、ゴースト像が除去された良質な画像（補正画像）をユーザに提供することができる等、実施例１と同様の効果が得られる。
【００７３】
また、本実施例では、色相変換処理によって原画像の高彩度領域を抽出する。ＨＳＬ色相変換処理は、画像を評価する画像出力系をディスプレイデバイスとして想定した場合に一般的に用いられる変換であり、画像データの彩度を独立に抽出することができる。本実施例によれば、実施例１よりもさらに精度良く、ゴースト像を除去することができる。
【００７４】
なお、画像出力系での画像評価が適切に行える色相変換であれば、ＨＳＬ色相変換以外の変換方法を用いてもよい。
【実施例３】
【００７５】
上記各実施例では、撮像装置に画像処理装置（画像劣化補正処理部６，６′）を内蔵した場合について説明したが、本発明はこれに限らない。
【００７６】
例えば図１２に示すように、撮像装置１４０１により互いに異なるＦ値で撮像した２つの画像（原画像）をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【００７７】
そして、パーソナルコンピュータ１４０２において、図４又は図９のフローチャートに示した画像処理を行ってもよい。この場合、パーソナルコンピュータが画像処理装置として機能する。
【図面の簡単な説明】
【００７８】
【図１Ａ】ゴースト像の特徴を模式的に表した図。
【図１Ｂ】ゴースト像の特徴を模式的に表した図。
【図２】本発明の実施例１である撮像装置の構成を示すブロック図。
【図３】実施例１における画像劣化補正処理部の構成を示すブロック図。
【図４】実施例１の画像劣化補正処理部の動作を示すフローチャート
【図５】実施例１での差分画像の作成処理を示す概念図。
【図６】実施例１でのゴーストアドレスの特定処理を示す概念図。
【図７】実施例１でのゴースト補正処理を示す概念図。
【図８】本発明の実施例２である撮像装置における画像劣化補正処理部の構成を示すブロック図。
【図９】実施例２の画像劣化補正処理部の動作を示すフローチャート。
【図１０】実施例２での色相変換処理及び高彩度領域抽出処理を示す概念図。
【図１１】実施例２での合成２値化画像の作成処理を示す概念図。
【図１２】本発明の実施例３である画像処理装置を示す概略図。
【符号の説明】
【００７９】
１    撮像系
２    撮像光学系
３    撮像素子
４    電気信号処理部
５    デジタル信号処理部
６，６′  画像劣化補正処理部
６ａ  差分画像作成処理部
６ｂ  ゴースト領域特定部
６ｃ  ゴースト補正処理部
６ｄ  色相変換処理部
６ｅ    高彩度領域抽出処理部
７    画像処理部
８    出力画像メモリ
９    コントローラ
１０    メモリ部
【図３】
2008228181.tif 000003
【図１Ａ】
2008228181.tif 000004
【図１Ｂ】
2008228181.tif 000005
【図２】
2008228181.tif 000006
【図４】
2008228181.tif 000007
【図５】
2008228181.tif 000008
【図６】
2008228181.tif 000009
【図７】
2008228181.tif 000010
【図８】
2008228181.tif 000011
【図９】
2008228181.tif 000012
【図１０】
2008228181.tif 000013
【図１１】
2008228181.tif 000014
【図１２】
2008228181.tif 000015