(57)【要約】【課題】輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずとも、撮影画像からフレア成分の情報を高精度に抽出する。【解決手段】本発明の画像処理方法の一態様は、撮影光学系により取得された処理対象画像を入力する入力手順と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順（Ｓ１８３）と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順（Ｓ１８２）と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順（Ｓ１８４）とを含む。【選択図】    図８
2011210061.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系により取得された処理対象画像を入力する入力手順と、
前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、
前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、
前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記推定手順では、
前記発生領域の明るさ範囲に基づき前記推定を行う
ことを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法において、
前記推定手順では、
前記理想的な輝点像成分の強度分布Ｄ（ｒ）を以下の式で表す
Ｄ（ｒ）＝ａ／ｒｎ＋ｂ
但し、ｒは、前記発生領域の中央を基準とした径方向の位置である
ことを特徴とする画像処理方法。
【請求項４】
請求項１に記載の画像処理方法において、
前記抽出手順では、
前記発生領域の中央を基準とした周方向にかけて空間周波数の低い成分を前記実際の輝点像成分として抽出する
ことを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、
前記抽出手順では、
前記発生領域の中央を基準とした径方向に延びる複数の分割線で前記発生領域を分割し、それによって生じた複数の分割領域の各々を、前記中央を基準とした周方向にかけて平滑化することにより、前記実際の輝点像成分を抽出する
ことを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記抽出手順では、
前記複数の分割線を、前記処理対象画像の中央から前記発生領域の中央に至る線分に関して対称な関係で設定する
ことを特徴とする画像処理方法。
【請求項７】
請求項１に記載の画像処理方法において、
前記算出手順では、
前記実際の輝点像成分Ａを前記理想的な輝点像成分Ｄで除した値を、前記フレアに起因して前記発生領域に生じた明るさ増幅率Ｃとして算出する
ことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において、
前記算出手順では、
前記発生領域に対して（１−１／Ｃ）を乗算することにより、前記発生領域に含まれる前記フレア成分を算出する
ことを特徴とする画像処理方法
【請求項９】
請求項８に記載の画像処理方法において、
前記算出手順では、
算出した前記フレア成分に明るさの異常部分が存在していた場合には、前記発生領域の中央を基準とした周方向に向かって前記異常部分と並んだ部分に基づき、前記異常部分を補正する
ことを特徴とする画像処理方法。
【請求項１０】
請求項８に記載の画像処理方法において、
前記算出手順では、
算出した前記フレア成分に明るさの異常部分が発生していた場合には、前記フレア成分の対応部分に基づき前記異常部分を補正し、
前記対応部分は、
前記処理対象画像の中央から前記発生領域の中央に至る線分に関して前記異常部分と対称な部分である
ことを特徴とする画像処理方法。
【請求項１１】
請求項８に記載の画像処理方法において、
前記算出手順では、
算出した前記フレア成分に発生している明るさの段差部を平滑化する
ことを特徴とする画像処理方法。
【請求項１２】
請求項８に記載の画像処理方法において、
前記算出手順では、
算出した前記フレア成分の周縁部が暗部となるよう前記フレア成分を補正する
ことを特徴とする画像処理方法。
【請求項１３】
請求項９〜請求項１２の何れか一項に記載の画像処理方法において、
前記算出手順による処理後の前記フレア成分を前記発生領域から減算するフレア除去手順を更に含む
ことを特徴とする画像処理方法。
【請求項１４】
請求項１〜請求項１３の何れか一項に記載の画像処理方法において、
前記推定手順、前記抽出手順、前記算出手順では、
前記処理対象画像の代わりに前記処理対象画像のサイズ縮小版を使用する
ことを特徴とする画像処理方法。
【請求項１５】
撮影光学系により取得された処理対象画像を入力する入力手順と、
前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、
前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、
前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１６】
撮影光学系により取得された処理対象画像を入力する入力手段と、
前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手段と、
前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手段と、
前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手段と、
を含むことを特徴とする画像処理装置。
【請求項１７】
撮影光学系が結像した被写体像を撮像する撮像素子と、
請求項１５に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項１８】
請求項１７に記載の撮像装置において、
回折光学素子を含む撮影レンズを更に備えた
ことを特徴とする撮像装置。
【請求項１９】
請求項１７に記載の撮像装置において、
回折光学素子を含む撮影レンズを装着可能である
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像からフレア成分を抽出する画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置に関する。
【背景技術】
【０００２】
回折光学素子（ＤＯＥ：Diffractive Optical Element）を有する撮影光学系で撮影を行う際、極めて高輝度な物体（輝点）が撮影画角内に存在していた場合には、撮影画像上の輝点像の周辺に色滲みを伴うフレア（色付きフレア）が発生する。この色付きフレアは撮影画像へ不自然な印象を与える。
【０００３】
そこで特許文献１には、撮影光学系の結像特性データを予め記憶し、そのデータと、撮影画像上の輝点の位置とに基づきフレア成分を推定し、それを撮影画像から除去する電子カメラが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２５０５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら撮影画像に実際に発生するフレア成分は、撮影光学系の結像特性に依存するだけでなく、輝点が有している波長スペクトルにも依存するので、特許文献１に記載の電子カメラがフレア成分を十分な精度で推定することは難しい。
【０００６】
また、特許文献１に記載のフレア除去方法をコンピュータのソフトウエアで実行しようとしても、通常の撮影画像（例えばＪＰＥＧ画像）にはフレア成分を推定するのに十分なデータが付与されていないため、その実行は不可能である。
【０００７】
そこで本発明は、輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずとも、撮影画像からフレア成分の情報を高精度に抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の画像処理方法の一態様は、撮影光学系により取得された処理対象画像を入力する入力手順と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順とを含む。
【０００９】
また、本発明の画像処理プログラムの一態様は、撮影光学系により取得された処理対象画像を入力する入力手順と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順とをコンピュータに実行させる。
【００１０】
また、本発明の画像処理装置の一態様は、撮影光学系により取得された処理対象画像を入力する入力手段と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手段と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手段と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手段とを含む。
【００１１】
また、本発明の撮像装置の一態様は、撮影光学系が結像した被写体像を撮像する撮像素子と、本発明の画像処理装置の一態様とを備える。
【発明の効果】
【００１２】
本発明によれば、撮影条件データを使用せずとも撮影画像からフレア成分の情報を高精度に抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の画像処理装置の構成例を示すブロック図。
【図２】ＣＰＵ１４によるフレア除去処理の動作フローチャート。
【図３】入力画像の模式図。
【図４】明るい領域の検出結果の例。
【図５】ユーザによる指定結果の例。
【図６】フレア番号ｉの例。
【図７】処理領域Ａｉを説明する図。
【図８】フレア抽出部２１によるフレア抽出処理のフローチャート。
【図９】処理領域Ａｉの分割方法を説明する図。
【図１０】扇状領域Wｉｊの径方向の強度分布の例。
【図１１】平滑化の効果を説明する図。
【図１２】平滑化後の処理領域（＝実際の輝点像成分）Ａｉ’の例。
【図１３】理想的な輝点像成分Ｄｉｊの推定方法を説明する図。
【図１４】増幅率分布Ｃｉの例。
【図１５】フレア無し画像Ｅｉ＝Ａｉ／Ｃｉの例。
【図１６】ステップＳ１８５で得られたフレア成分Ｆｉの例。
【図１７】ステップＳ１８６で得られたフレア成分Ｆｉの例。
【図１８】ステップＳ１８７で得られたフレア成分Ｆｉの例。
【図１９】補正係数分布Ｈの例。
【図２０】ステップＳ１８８で得られたフレア成分Ｆｉの例。
【図２１】フレア無し画像Ｅの模式図。
【図２２】第２実施形態の電子カメラの構成例を示すブロック図。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の第１実施形態を説明する。
【００１５】
図１は、本実施形態の画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置は、画像処理プログラムがインストールされたコンピュータ１１で構成される。
【００１６】
図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。
【００１７】
データ読込部１２は、画像処理対象となる画像データを外部から読み込むときに用いられる。例えば、データ読込部１２は、データ読込部１２に挿入された記憶媒体から画像データを取得する読込デバイス（光ディスクドライブ、磁気ディスクドライブ、光磁気ディスクドライブなど）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。
【００１８】
記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、画像処理プログラムが記録されている。なお、記憶装置１３には、データ読込部１２から読み込まれた画像データを記憶しておくこともできる。
【００１９】
ＣＰＵ１４は、記憶装置１３に記憶された画像処理プログラムを実行し、コンピュータ１１の各部を統括的に制御するプロセッサである。ここで、本実施形態の画像処理プログラムにはフレア除去処理の機能が搭載されており、フレア除去処理を実行する際、ＣＰＵ１４は、各部を制御する制御部として機能する他に、フレア抽出部２１としても機能する（フレア抽出部２１の動作は後述する）。
【００２０】
メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。
【００２１】
図２は、ＣＰＵ１４によるフレア除去処理の動作フローチャートである。以下、各ステップを順に説明する。
【００２２】
ステップＳ１１：ＣＰＵ１４は、ユーザがフレア除去処理の対象として指定したカラー画像の画像データを、メモリ１５上に読み込む（以下、これを「入力画像Ｉ」と称す。）。この入力画像Ｉは、例えば、データ読込部１２の記憶媒体に書き込まれていた画像である。
【００２３】
ここで、入力画像Ｉは、色付きフレアの発生した画像である。色付きフレアの発生した画像は、ＤＯＥを含む撮影光学系で撮影された画像であって、例えば図３に示すとおり、点在するライトで照らされた夜の屋外駐車場の画像などである。色付きフレアは通常、輪帯状又はそれに近いパターンをしているが、そのパターンは完全な輪帯状になるとは限らず、撮影条件（画像の撮影に使用された撮影光学系の結像特性、撮影時に画角内に存在していた輝点の波長スペクトルなど）に依存する。
【００２４】
しかし、本実施形態のフレア除去処理は色付きフレアのパターンが未知であっても実行可能であるので、入力画像Ｉには、撮影条件データが付随していなくても構わない。また、本実施形態のフレア除去処理は色無しフレアにも有効なので、入力画像Ｉに発生しているフレアは、色無しフレアであっても構わない。
【００２５】
ステップＳ１２：ＣＰＵ１４は、メモリ１５上へ読み込んだ入力画像Ｉに対してサイズ縮小処理を施す。以下、サイズ縮小後の入力画像Ｉを「縮小画像Ｓ」と称す。なお、入力画像Ｉに対してサイズ縮小処理を施すのは、続くステップＳ１３〜Ｓ１８の演算負荷を軽減するためである。
【００２６】
ステップＳ１３：ＣＰＵ１４は、縮小画像Ｓの各画素の輝度を予め決められた閾値と比較することにより、輝度が閾値を超過するような明るい領域を縮小画像Ｓから検出し、その検出結果を、例えば図４に示すとおりモニタ１９へ表示する。図４に示すとおり、検出された領域の中には、フレアに起因した領域だけでなく、フレアとは無関係な領域（図４では明るい窓の像）も混在している可能性がある。
【００２７】
なお、本ステップでは演算負荷を軽減するため、各画素の輝度の指標として、各画素の輝度値（Ｒ、Ｇ、Ｂの重み付け和）を使用する代わりに、各画素の各色成分の和（Ｒ、Ｇ、Ｂの和）を使用してもよい。或いは、各画素の輝度の指標として、各画素を代表する色成分の値（Ｇ強度）を使用してもよい。また、このような演算負荷の軽減方法は、画素の輝度を扱う他のステップでも採用することができる。
【００２８】
ステップＳ１４：ＣＰＵ１４は、検出された領域の中からフレアに起因した領域をユーザに指定させる。ユーザは、モニタ１９を目視しながら入力デバイス１８を操作することにより、フレアと判断した１又は複数の領域をコンピュータ１１へ指定する（図５参照）。以下、ユーザが指定した領域を「指定領域」と称す。
【００２９】
ステップＳ１５：ＣＰＵ１４は、１又は複数の指定領域に対して通し番号（フレア番号ｉ＝１、２、…）を付与する（図６参照）。これによって、フレア除去処理で除去すべきフレアの総数（すなわち、フレア番号ｉの最終値）が決まる。
【００３０】
ステップＳ１６：ＣＰＵ１４は、フレア番号ｉを初期値（１）に設定する。
【００３１】
ステップＳ１７：ＣＰＵ１４は、縮小画像Ｓ上でフレア番号ｉが付与されている指定領域の輝度重心に相当する座標ｇｉを算出する。そして、ＣＰＵ１４は、縮小画像Ｓ上で座標ｇｉを中心とし、かつ半径ｒ０を有した円形領域を、フレア番号ｉの処理領域Ａｉとして設定する（図７参照）。半径ｒ０の値は、処理領域Ａｉがフレア全体をカバーできるように予め決められた値である。
【００３２】
なお、本ステップでは、指定領域の輝度重心を座標ｇｉとしたが、演算負荷を軽減するために、指定領域の中心を座標ｇｉとしてもよい。
【００３３】
ステップＳ１８：ＣＰＵ１４は、処理領域Ａｉからフレア成分Ｆｉを抽出するようフレア抽出部２１へ指示を与える。フレア抽出部２１は、フレア抽出処理を実行して処理領域Ａｉからフレア成分Ｆｉを抽出する。このフレア抽出処理の詳細は、後述する。
【００３４】
ステップＳ１９：ＣＰＵ１４は、ステップＳ１８で抽出されたフレア成分Ｆｉへサイズ拡大処理を施す。なお、前述したステップＳ１２のサイズ縮小処理で入力画像Ｉのサイズを１／Ｍ倍にした場合、本ステップにおけるサイズ拡大処理ではフレア成分ＦｉのサイズをＭ倍にする。よって、本ステップでは、入力画像Ｉに対応するサイズのフレア成分Ｆｉ’が取得される。
【００３５】
ステップＳ２０：ＣＰＵ１４は、ステップＳ１９で取得したフレア成分Ｆｉ’を入力画像Ｉから減算する。但し、減算に当たりＣＰＵ１４は、縮小画像Ｓ上の座標ｇｉと前述した倍率Ｍとに基づき、座標ｇｉに対応する入力画像Ｉ上の座標ｇｉ’を求め、その座標ｇｉ’に対してフレア成分Ｆｉ’の中心を一致させておく。これによって、フレア番号ｉに対応するフレア成分Ｆｉ’を入力画像Ｉから除去できる。
【００３６】
ステップＳ２１：ＣＰＵ１４は、フレア番号ｉが最終値に達したか否かを判別し、達していなかった場合はステップＳ２２へ移行し、達していた場合はステップＳ２３へ移行する。
【００３７】
ステップＳ２２：ＣＰＵ１４は、フレア番号ｉをインクリメントしてからステップＳ１７へ移行する。したがって、全てのフレア番号のフレア成分（フレア成分Ｆ１’、 Ｆ２’、…）が入力画像Ｉから順次に除去されることになる。
【００３８】
ステップＳ２３：ＣＰＵ１４は、全てのフレア成分（フレア成分Ｆ１’、 Ｆ２’、…）が除去された入力画像Ｉ（以下、「フレア無し画像Ｅ」と称す。）をモニタ１９へ表示する。その後、ユーザから保存指示が入力された場合には、フレア無し画像Ｅをユーザが指定した保存先（例えば、データ読込部１２に挿入された記憶媒体）へ保存し、フローを終了する。
【００３９】
図８は、フレア抽出部２１によるフレア抽出処理のフローチャートである。以下、各ステップを順に説明する。
【００４０】
ステップＳ１８１：フレア抽出部２１は、図９（Ａ）に示すとおり、縮小画像Ｓにおいて処理領域Ａｉの中心に相当する座標ｇｉと、縮小画像Ｓの中心ｇ０（すなわち、撮影光学系の光軸に相当する位置）とを通る直線Ｌｉを求める。そして、フレア抽出部２１は、図９（Ｂ）に示すとおり、座標ｇｉを基準とした周方向（θ方向）に向かって等角度で処理領域Ａｉを分割する。これによって、処理領域Ａｉは、複数の扇状領域（扇状領域Ｗｉ１〜Ｗｉ１２）に分割される。但し、フレア抽出部２１は、その分割で用いられる、径方向（ｒ方向）の分割線を、図９に示すとおり直線Ｌｉに関して対称な関係で配置する。処理領域Ａｉをこのような分割線で分割し、以降の各処理（ステップＳ１８２〜Ｓ１８６）を扇状領域Ｗｉｊ毎に行うこととすれば、フレア成分の抽出を一定の精度で効率的に行うことができる（なぜなら、撮影光学系は回転対称な形状をしているため、処理領域Ａｉに含まれるフレア成分のパターンは、直線Ｌｉに関して対称なパターンになるはずである。）。
【００４１】
ここで、図１０に示すのは、或る１つの扇状領域Ｗｉｊの径方向の強度分布をＲＧＢ別に示したものである。Ｒ成分ＷｉｊＲ、Ｇ成分ＷｉｊＧ、Ｂ成分ＷｉｊＢの各々は、扇状領域Ｗｉｊの周縁部（ｒ＝ｒ０の部分）に向かって減衰するようなカーブを描いており、Ｒ成分ＷｉｊＲ、Ｇ成分ＷｉｊＧ、Ｂ成分ＷｉｊＢの各々は、理想的な輝点像成分と、フレア成分と、背景成分との和からなる。
【００４２】
このうち、理想的な輝点像成分は、例えば図１３の下部に示すような滑らかなカーブを描き、Ｒ成分ＷｉｊＲ、Ｇ成分ＷｉｊＧ、Ｂ成分ＷｉｊＢの間で共通とみなせる。一方、フレア成分及び背景成分は、Ｒ成分ＷｉｊＲ、Ｇ成分ＷｉｊＧ、Ｂ成分ＷｉｊＢの間で互いに異なる。
【００４３】
例えば、Ｒ成分ＷｉｊＲには、矢印で示すとおりＲ成分ＷｉｊＲに固有の大きなピークが発生しており、主にこのピークがＲ強度分布のフレア成分と考えられる。また、Ｂ成分ＷｉｊＢにも、矢印で示すとおりＢ成分ＷｉｊＢに固有の大きなピークが発生しており、主にこのピークがＢ強度分布のフレア成分と考えられる。一方、Ｇ成分ＷｉｊＧには、Ｇ成分ＷｉｊＧに固有の大きなピークは発生していないように見えるが、実際には、Ｇ成分ＷｉｊＧにもフレア成分が含まれている可能性はある。
【００４４】
そして、多くの場合、これらフレア成分の空間周波数は、背景成分の空間周波数より低い（図１０において細かく振動している波形は、背景成分を示していると考えられる。）。また、多くの場合、フレア成分は、ｒ＝０を中心とした輪帯状パターン又はそれに近いパターンを描く（図３参照）。よって、フレア成分の周方向の空間周波数は、背景成分の周方向の空間周波数より低いとみなせる。
【００４５】
ステップＳ１８２：フレア抽出部２１は、扇状領域Ｗｉ１〜Ｗｉ１２の各々を、周方向にかけて個別に平滑化することにより、平滑化後の扇状領域Ｗｉ１’〜Ｗｉ１２’（＝平滑化後の処理領域Ａｉ’）を取得する。この平滑化は、ＲＧＢ別に行われる。図１１（Ａ）、（Ｂ）は、或る扇状領域ＷｉｊのＲ成分ＷｉｊＲの平滑化前後の様子を示しており、図１２に示すのは、平滑化後の扇状領域Ｗｉ１’〜Ｗｉ１２’（＝平滑化後の処理領域Ａｉ’）の例である。
【００４６】
前述したとおり背景成分の周方向の空間周波数はフレア成分の周方向の空間周波数より高いので、平滑化後の処理領域Ａｉ’ （図１２参照）には、背景成分が殆ど含まれていない。したがって、平滑化後の処理領域Ａｉ’（図１２参照）は、フレア成分を含んだ実際の輝点像成分（＝フレア成分と理想的な輝点像成分との和）を表しているとみなせる。よって、以下では、平滑化後の処理領域Ａｉ’を「実際の輝点像成分Ａｉ’」と称す。
【００４７】
ステップＳ１８３：フレア抽出部２１は、平滑化前の処理領域Ａｉに基づき、処理領域Ａｉに含まれる理想的な輝点像成分Ｄｉを推定する。なお、ここでは、理想的な輝点像成分Ｄｉは、無彩色である（各色成分の強度分布は互いに等しい）と仮定する。また、ここでは、理想的な輝点像成分Ｄｉは、扇状領域Ｗｉｊ毎に推定されるものとする。
【００４８】
その場合、個々の扇状領域Ｗｉｊに関する理想的な輝点像成分Ｄｉｊ（Ｒ成分ＤｉｊＲ、Ｇ成分ＤｉｊＧ、Ｂ成分ＤｉｊＢからなる。）は、以下の手順（ａ）〜（ｄ）で推定される。
【００４９】
（ａ）フレア抽出部２１は、図１３に示すとおり、平滑化前の扇状領域Ｗｉｊ上の各画素の輝度を互いに比較し、扇状領域Ｗｉｊ上で最も輝度の低い画素のＧ強度（Ｇｉｊｍｉｎ）と、最も輝度の高い画素のＧ強度（Ｇｉｊｍａｘ）とを見出す。通常、扇状領域Ｗｉｊの中心近傍（処理領域Ａｉの中心近傍）は、画素値の飽和した飽和領域となっているので、Ｇｉｊｍａｘは、その飽和領域のＧ強度と同じになる。
【００５０】
（ｂ）フレア抽出部２１は、理想的な輝点像成分ＤｉｊのＲ成分ＤｉｊＲを、下式（１）のとおりに設定する。
【００５１】
【数１】
2011210061.tif 000003
【００５２】
但し、式（１）のｒは径位置であり、ｒ１は、飽和領域の輪郭に相当する径位置である。また、ａ、ｂの組み合わせは、ｒ＝ｒ１のときにＤｉｊＲ（ｒ）＝Ｇｉｊｍａｘとなり、かつ、ｒ＝ｒ０のときにＤｉｊＲ（ｒ）＝Ｇｉｊｍｉｎとなるような組み合わせに設定される。
【００５３】
（ｃ）フレア抽出部２１は、理想的な輝点像成分ＤｉｊのＧ成分ＤｉｊＧを、下式（２）のとおりに設定する。
【００５４】
【数２】
2011210061.tif 000004
【００５５】
但し、式（２）のｒ１、ａ、ｂは、式（１）のｒ１、ａ、ｂと同じ値を採る。
【００５６】
（ｄ）フレア抽出部２１は、理想的な輝点像成分ＤｉｊのＢ成分ＤｉｊＢを、下式（３）のとおりに設定する。
【００５７】
【数３】
2011210061.tif 000005
【００５８】
但し、式（３）のｒ１、ａ、ｂは、式（１）のｒ１、ａ、ｂと同じ値を採る。
【００５９】
したがって、以上の手順（ａ）〜（ｄ）を全ての扇状領域Ｗｉ１〜Ｗｉ１２について行えば、処理領域Ａｉの全域に関する理想的な輝点像成分Ｄｉが推定される。
【００６０】
ステップＳ１８４：フレア抽出部２１は、ステップＳ１８２で抽出した実際の輝点像成分Ａｉ’を、ステップＳ１８３で推定した理想的な輝点像成分Ｄｉで除算することにより、フレアに起因して処理領域Ａｉに発生した明るさ増幅率分布Ｃｉを算出する（Ｃｉ＝Ａｉ’／Ｄｉ）。この算出は、ＲＧＢ別に行われる。図１４には、算出された増幅率分布Ｃｉの或る周位置におけるＲ成分ＣｉＲの例を示した。
【００６１】
ここで、処理領域Ａｉを増幅率分布Ｃｉで除算すれば、処理領域Ａｉのフレア無し画像Ｅｉを簡単に算出することができる（但し、この除算はＲＧＢ別に行われる。）。図１５に示すのは、この除算で算出されたフレア無し画像ＥｉのＲ成分ＥｉＲの例である。
【００６２】
しかしながら、前述したステップＳ１８２では抽出誤差が発生している可能性があって、ステップＳ１８２で抽出された実際の輝点像成分Ａｉ’には、明る過ぎたためにステップＳ１８２で除去しきれなかったような背景成分（残存背景成分）が残存している可能性がある。このため、上記の除算では、フレア無し画像Ｅｉを高精度に算出できない虞がある。
【００６３】
そこで、本実施形態のフレア抽出部２１は、次のステップにて増幅率分布Ｃｉをフレア成分Ｆｉに換算することにより、残存背景成分の除去を図る。
【００６４】
ステップＳ１８５：フレア抽出部２１は、Ｆｉ＝（１−１／Ｃｉ）×Ａｉの式により、増幅率分布Ｃｉをフレア成分Ｆｉに換算する。この換算は、ＲＧＢ別に行われる。
【００６５】
図１６に示すのは、本ステップで得られたフレア成分Ｆｉの例である。図１６では、周方向を横方向に採り、径方向を縦方向に採った（図１７、図１８も同様。）。本ステップで得られたフレア成分Ｆｉには、フレア成分としては明る過ぎるような領域が発生している。この領域が、残存背景成分の影響を受けた領域と考えられる。
【００６６】
ステップＳ１８６：フレア抽出部２１は、フレア成分Ｆｉの各画素の輝度を閾値と比較することにより、閾値を超過するような異常画素を見出し、その異常画素の値（Ｒ、Ｇ、Ｂ）を、その異常画素の周方向に並ぶ正常な画素群の平均値（Ｒの平均値、Ｇの平均値Ｂの平均値）に置換する。これによって、異常画素の輝度は正常な画素群と同等の輝度に補正され、フレア成分Ｆｉから残存背景成分が除去される（図１７を参照）。
【００６７】
なお、本ステップにおいて異常画素の補正に使用される正常な画素群は、その異常画素が属するのと同一の扇状領域内から選出されるものとする。
【００６８】
ステップＳ１８７：フレア抽出部２１は、ステップＳ１８６で得られたフレア成分Ｆｉ （図１７）に発生している輝度の段差部分を、周方向にかけて平滑化する（図１８を参照）。この段差部分は、互いに隣接する２つの扇状領域Ｗｉｊ、Ｗｉｊ＋１の境界線に相当するので、これを平滑化しておけば、最終的なフレア無し画像（フレア無し画像Ｅ）上に放射状の段差が現れるのを避けることができる。
【００６９】
ステップＳ１８８：フレア抽出部２１は、ステップＳ８７で得られたフレア成分Ｆｉ（図１６（Ｃ）参照）に対し、図１９に示すような補正係数分布Ｈを乗算することにより、フレア成分Ｆｉの最周縁部（ｒ＝ｒ０の部分）を黒画素（又はそれに極めて近い値）にする。この補正係数分布Ｈは、以下のとおり径位置ｒの関数で表される。
【００７０】
Ｈ（ｒ）＝１−（ｒ／ｒ０）８
なお、本ステップの乗算は、ＲＧＢそれぞれに対して行われるが、ＲＧＢの間で補正係数分布Ｈは共通とされる。
【００７１】
以上の本ステップによると、フレア成分Ｆｉの多くの画素の値は殆ど変化しないが、フレア成分Ｆｉのうち周縁部に近い画素の値は、周縁部に近い画素ほど黒画素に近づけられる。図２０は、本ステップで得られたフレア成分Ｆｉの例である。このようにフレア成分Ｆｉの周縁部を黒画素としておけば、最終的なフレア無し画像（フレア無し画像Ｅ）上に円形の輪郭が現れるのを避けることができる。
【００７２】
なお、本ステップの処理が終了した時点で、フレア抽出部２１による図８のフローが終了し、ＣＰ１４による図２のステップＳ１９が開始される（以上、ステップＳ１８８）。
【００７３】
以上、本実施形態のフレア抽出部２１は、処理領域Ａｉに含まれる理想的な輝点像成分Ｄｉを推定すると共に、その処理領域Ａｉから実際の輝点像成分Ａｉ’を抽出する。そしてフレア抽出部２１は、両成分の相違（ここでは、増幅率分布Ｃｉ＝Ａｉ’／Ｄｉ）を、処理領域Ａｉに含まれるフレア成分Ｆｉの指標として算出する。
【００７４】
ここで、理想的な輝点像成分Ｄｉは、図１３の下部に示したとおりシンプルな分布と仮定できるので、理想的な輝点像成分Ｄｉの推定は、撮影条件データを使用せずとも高精度に行うことができる。したがって、本実施形態のＣＰＵ１４は、フレア成分Ｆｉの指標（ここでは、増幅率分布Ｃｉ＝Ａｉ’／Ｄｉ）の算出を、簡単かつ高精度に行うことができる。
【００７５】
その結果、本実施形態のＣＰＵ１４は、良好なフレア無し画像Ｅを取得することができる。図２１に模式的に示すとおり、フレア無し画像Ｅには、図３に示したようなフレアは発生しておらず、フレアの代わりに理想的な輝点像が現れている。
【００７６】
また、本実施形態のフレア抽出部２１は、増幅率分布Ｃｉからフレア無し画像Ｅを算出する前に、増幅率分布Ｃｉをフレア成分Ｆｉに換算することで、増幅率分布Ｃｉに含まれていた誤差（上述した残存背景成分）の検出・除去を図っている。このように増幅率分布Ｃｉをフレア成分Ｆｉに換算すれば、フレア成分として相応しくない成分（上述した残存背景成分）を際立たせることができるので、その検出・除去は確実に行われる。
【００７７】
なお、上述したステップＳ１８６におけるフレア抽出部２１は、フレア成分Ｆｉにおける異常画素を、周辺の画素に基づき補正したが、フレア成分Ｆｉの対応画素（直線Ｌｉに関して対称な画素）に基づき補正してもよい。また、その場合は、異常画素の値を、対応画素の値と同じ値に置換してもよい。
【００７８】
また、上述したステップＳ１８３の式（１）、（２）、（３）では、ｒ１＜ｒのときにおける関数ｆ（ｒ）として、関数ｆ（ｒ）＝ａ／ｒ＋ｂを使用したが、ｆ（ｒ）＝ａ／ｒ２＋ｂ、ｆ（ｒ）＝ａ／ｒ３＋ｂなど、（１／ｒ）の代わりに（１／ｒ）の冪乗（１／ｒ）ｎで表される関数を使用してもよい。また、冪数ｎの異なる幾つかの関数ｆ（ｒ）＝ａ／ｒｎ＋ｂの中から、扇状領域Ｗｉｊの径方向の分布カーブに最も類似した関数を選択し、それを採用することとしてもよい。
【００７９】
また、上述したフレア除去処理では、ステップＳ１３〜Ｓ１８における演算負荷を軽減するために、入力画像Ｉをそのまま使用する代わりに入力画像Ｉのサイズ縮小版（縮小画像Ｓ）を使用したが、演算負荷の軽減よりもフレア除去精度の向上を優先させたい場合には、入力画像Ｉをそのまま使用してもよい。なお、その場合、ステップＳ１２、Ｓ１９の処理は省略される。
【００８０】
また、上述したフレア除去処理では、入力画像Ｉにおけるフレアの発生位置をユーザが手動で指定したが、ＣＰＵ１４が自動で検出してもよい。フレアの発生位置の検出には、公知の何れかの検出方法を適用することができる。例えば、パターン認識の技術を利用した検出方法などを適用することができる。
【００８１】
［第２実施形態］
以下、本実施形態の第２実施形態を説明する。
【００８２】
図２２は、電子カメラの概略構成を示すブロック図である。図２２に示すとおり、電子カメラ１１１は、撮像光学系１１２と、レンズ駆動部１１３と、絞り１１４と、絞り駆動部１１５と、カラー撮像素子１１６と、ＡＦＥ１１７と、画像処理エンジン１１８と、第１メモリ１１９と、第２メモリ１２０と、メディアＩ／Ｆ１２１と、通信Ｉ／Ｆ１２２と、モニタ１２３と、レリーズ釦１２４とを有しており、この中でレンズ駆動部１１３、絞り駆動部１１５、ＡＦＥ１１７、第１メモリ１１９、第２メモリ１２０、メディアＩ／Ｆ１２１、通信Ｉ／Ｆ１２２、モニタ１２３、レリーズ釦１２４の各々は、画像処理エンジン１１８に接続されている。また、撮影光学系１１２は、例えば、ＤＯＥレンズを含んだ高機能な撮影光学系である。
【００８３】
第１メモリ１１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、画像処理エンジン１１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第２メモリ１２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン１１８によって実行されるプログラムを長期的に記憶する。
【００８４】
この第１メモリ１１９には、画像処理エンジン１１８が実行すべき画像処理プログラムが格納されており、この画像処理プログラムには、第１実施形態と同様のフレア除去処理の機能が搭載されている。フレア除去処理を実行する際、画像処理エンジン１１８は、フレア抽出部１２５として機能する。このフレア抽出部１２５は、第１実施形態のフレア抽出部２１と同様に動作する。
【００８５】
したがって、本実施形態の画像処理エンジン１１８は、電子カメラ１１１が撮影で取得した画像や、メディアＩ／Ｆ１２１（又は通信I／F１２２）を介して読み込まれた画像に対して、第１実施形態と同様のフレア除去処理を施すことができる。
【００８６】
なお、本実施形態のフレア除去処理は、撮影条件データを必要としないので、図２２において点線で示した部分は、電子カメラ１１１に対して交換可能であっても構わない。また、言うまでもないが、本実施形態のフレア除去処理は、撮影条件データを必要としないので、撮影光学系１１２の結像特性データを画像処理エンジン１１８が読み込む必要も無い。
【符号の説明】
【００８７】
１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス
【図１】
2011210061.tif 000006
【図２】
2011210061.tif 000007
【図７】
2011210061.tif 000008
【図８】
2011210061.tif 000009
【図９】
2011210061.tif 000010
【図１０】
2011210061.tif 000011
【図１１】
2011210061.tif 000012
【図１４】
2011210061.tif 000013
【図１５】
2011210061.tif 000014
【図１９】
2011210061.tif 000015
【図２２】
2011210061.tif 000016
【図３】
2011210061.tif 000017
【図４】
2011210061.tif 000018
【図５】
2011210061.tif 000019
【図６】
2011210061.tif 000020
【図１２】
2011210061.tif 000021
【図１３】
2011210061.tif 000022
【図１６】
2011210061.tif 000023
【図１７】
2011210061.tif 000024
【図１８】
2011210061.tif 000025
【図２０】
2011210061.tif 000026
【図２１】
2011210061.tif 000027