(57)【要約】【課題】  電子カメラ等で撮影された画像がＪＰＥＧ画像のように最終出力用にガンマ処理がなされていても、適切に且つ、光学系の状態に左右されずにゴミ等の欠陥をきれいに除去すること。【解決手段】  圧縮済みの画像の解凍処理を行い（ステップＳ２９）、逆ガンマ補正を行う（ステップＳ３０）。逆ガンマ補正により線形階調に変換された画像に対して輝度面の生成を行い（ステップＳ３１）、エッジマップの生成を行う（ステップＳ３２）。そして、エッジマップの拡大処理を行い（ステップＳ３４）、平坦マップへの変換を行う（ステップＳ３５）。変換された平坦マップに基づいて透過率マップの生成を行い（ステップＳ３６）、自己ゲイン補正処理を行う（ステップＳ３７）。【選択図】      図４
2004220553.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により撮影され、非線形階調処理が施された画像を入力する画像入力手段と、
前記入力画像の階調を一旦線形階調に戻し、更に入力画像とは異なる非線形階調特性をもつ階調に変換する階調変換手段と、
前記変換された階調空間において画像内のエッジ部を検出するエッジ部検出手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記検出したエッジ部に基づいて平坦部領域を抽出する平坦部抽出手段を有することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記平坦部領域の情報に基づいて、前記画像内の欠陥情報を作成する欠陥情報作成手段を備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記欠陥情報に基づいて、前記画像内の欠陥を補正する補正手段を備えることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記階調変換手段は、入力に対する出力が実質的に冪乗関数の特性をもつ階調に変換することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記階調変換手段は、前記冪乗関数として平方根関数の特性をもつ階調に変換することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記画像入力手段は、前記非線形階調処理が施され、圧縮処理がなされた圧縮画像に対しては該圧縮を解凍してから入力することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記画像入力手段は、前記圧縮画像としてＪＰＥＧもしくはＪＰＥＧ２０００圧縮のなされた画像に対しては該圧縮を解凍してから入力することを特徴とする画像処理装置。
【請求項９】
請求項３に記載の画像処理装置において、
前記欠陥情報作成手段は、前記入力画像の着目画素と該着目画素を含む所定範囲内の複数の画素の値の平均値に基づいて、前記画像内の欠陥情報を作成することを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれかに記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラ等で撮影した画像データにおいて、ゴミ等の影響を除去する画像処理装置に関する。
【背景技術】
【０００２】
従来、ビデオカメラの製造時に光学系に混入したゴミの影響を補正するため、事前に各絞り値毎の白パターンを撮影して補正情報を記録しておく技術が、特開平９−５１４５９号公報に開示されている。また、コピー機の分野では常に変化する可能性のあるゴミ対策として、原稿読み取り前に均一な反射面を有する白基準データを取り込んで、ゴミ検出する技術が、特開平１０−２９４８７０号公報や特開平１１−２７４７５号公報に開示されている。さらに、スキャナー分野では、この白基準データの代わりの役割を果たすものとして、赤外光センサーを備え、可視光データと同時に透過率データを得て、フィルム欠陥による透過率の減衰信号を得る方法が、ＵＳＰ６，１９５，１６１号に開示されている。
【０００３】
【特許文献１】特開平９−５１４５９号公報
【特許文献２】特開平１０−２９４８７０号公報
【特許文献３】特開平１１−２７４７５号公報
【特許文献４】ＵＳＰ６，１９５，１６１号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のカメラでは、製造時に光学部品に付着した固定ゴミを対象としていたに過ぎず、使用頻度や時間の経過に伴って変化するゴミは考慮されてこなかった。今日普及し始めた交換レンズ方式の一眼レフカメラでは、特に撮像素子前部の光学部品がむき出しのため、時間的に変化するゴミの写り込みが大きな問題となりやすい。
【０００５】
他方、コピー機やスキャナーでは本スキャンの前あるいは同時にゴミデータを取得して時間的に変化のあるゴミに対応している。しかし、カメラとは構造が異なって、固定距離にある原稿やフィルム面に対して一様な照明手段を有しており、更に完全に均一な反射面を備えたり、新たに赤外線照明手段を設けたりすることによって透過率データを得るのは比較的容易にできる。しかしながら、電子カメラでは製造時検査以外はそのような完全な一様面の透過率データを得にくいのが普通である。
【０００６】
また、コピー機、スキャナーは基本的に固定光学系であり、光学系の変化によりゴミが変化することを考慮する必要性がない。一方、従来のビデオカメラでは絞り値以外の光学的条件が変化することには対応していない。
【課題を解決するための手段】
【０００７】
請求項１の発明は、撮像素子により撮影され、非線形階調処理が施された画像を入力する画像入力手段と、前記入力画像の階調を一旦線形階調に戻し、更に入力画像とは異なる非線形階調特性をもつ階調に変換する階調変換手段と、前記変換された階調空間において画像内のエッジ部を検出するエッジ部検出手段とを備えることを特徴とする。
請求項２の発明は、請求項１に記載の画像処理装置において、前記検出したエッジ部に基づいて平坦部領域を抽出する平坦部抽出手段を有することを特徴とする。
請求項３の発明は、請求項２に記載の画像処理装置において、前記平坦部領域の情報に基づいて、前記画像内の欠陥情報を作成する欠陥情報作成手段を備えることを特徴とする。
請求項４の発明は、請求項３に記載の画像処理装置において、前記欠陥情報に基づいて、前記画像内の欠陥を補正する補正手段を備えることを特徴とする。
請求項５の発明は、請求項１に記載の画像処理装置において、前記階調変換手段は、入力に対する出力が実質的に冪乗関数の特性をもつ階調に変換することを特徴とする。
請求項６の発明は、請求項５に記載の画像処理装置において、前記階調変換手段は、前記冪乗関数として平方根関数の特性をもつ階調に変換することを特徴とする。
請求項７の発明は、請求項１に記載の画像処理装置において、前記画像入力手段は、前記非線形階調処理が施された画像として圧縮処理がなされた圧縮画像に対しては該圧縮を解凍してから入力することを特徴とする。
請求項８の発明は、請求項７に記載の画像処理装置において、前記画像入力手段は、前記圧縮画像としてＪＰＥＧもしくはＪＰＥＧ２０００圧縮のなされた画像に対しては該圧縮を解凍してから入力することを特徴とする。
請求項９の発明は、請求項３に記載の画像処理装置において、前記欠陥情報作成手段は、前記入力画像の着目画素と該着目画素を含む所定範囲内の複数の画素の値の平均値に基づいて、前記画像内の欠陥情報を作成することを特徴とする。
請求項１０の発明は、請求項１〜９のいずれかに記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【発明の効果】
【０００８】
本発明によれば、電子カメラ等で撮影された画像が最終出力用に非線形階調処理がなされていても、適切に且つ、光学系の状態に左右されずにゴミ等の欠陥をきれいに除去できる。
【発明を実施するための最良の形態】
【０００９】
−第１の実施の形態−
（電子カメラおよびパーソナルコンピュータの構成）
図１は、交換レンズ方式の一眼レフ電子スチルカメラ（以下、電子カメラと言う）の構成を示す図である。電子カメラ１は、カメラ本体２とマウント式交換レンズからなる可変光学系３を有する。可変光学系３は、内部にレンズ４と絞り５を有する。レンズ４は複数の光学レンズ群から構成されるが、図では代表して１枚のレンズで表し、そのレンズ４の位置を主瞳位置と言う（以下、単に瞳位置と言う）。可変光学系３は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
【００１０】
カメラ本体２は、シャッター６、光学フィルタやカバーガラスなどの光学部品７、撮像素子８を有する。可変光学系３は、カメラ本体２のマウント部９に対して着脱可能である。また、可変光学系３は、マウント部９を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ１の制御部１７（図２）に送信する。絞り値は、例えばＦ２．８〜Ｆ２２まで変化する。
【００１１】
符号１０は、撮像素子８前部の光学部品７の表面に付着したゴミを示す。可変光学系３の絞り値や瞳位置を変化させて、撮影画像に写り込んだゴミ影の変化を評価する実験を行った結果、以下の２つの事実が判った。
（１）絞り値によってゴミ影の大きさと光の透過率が変わる。
（２）レンズの瞳位置によってゴミ位置がずれる。
この２つの実験事実から固定位置に付着したゴミであっても、レンズの撮影条件（絞り値と瞳位置）が変化する度にゴミの写り込み方が変化していることがわかる。このような可変な光学系に対して、ゴミの影響を除去する手法を以下に示す。
【００１２】
図２は、電子カメラ１のブロック図とＰＣ（パーソナルコンピュータ）３１および周辺装置を示す図である。ＰＣ３１は、画像処理装置として機能し、電子カメラ１から画像データを取得し後述するゴミの影響除去処理をする。
【００１３】
電子カメラ１は、可変光学系３、光学部品７、シャッター６（図２では図示省略）、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、モニタ２１、メモリカード用インターフェース部２２、外部インターフェース部２３を備える。
【００１４】
撮像素子８は、可変光学系３を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子８は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子８は、例えば単板式カラーＣＣＤなどで構成される。アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部１４は、制御部１７により制御され、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、画像処理部１５の各動作のタイミングを制御する。
【００１５】
メモリカード用インターフェース部２２は、メモリカード（カード状のリムーバブルメモリ）３０とのインターフェースをとる。外部インターフェース部２３は、所定のケーブルや無線伝送路を介してＰＣ３１等の外部装置とのインターフェースをとる。操作部１６は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ２１は、各種メニューを表示したり、撮像素子８で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部１６の出力は制御部１７に接続され、モニタ２１には表示画像生成部２０の出力が接続される。画像処理部１５は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【００１６】
Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インターフェース部２２、外部インターフェース部２３は、バス２４を介して相互に接続されている。
【００１７】
ＰＣ３１には、モニタ３２やプリンタ３３等が接続されており、ＣＤ−ＲＯＭ３４に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ３１は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード３０とのインターフェースをとるメモリカード用インターフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインターフェースをとる外部インターフェース部（不図示）を備える。
【００１８】
図２のような構成の電子カメラ１において、操作部１６を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１７は、タイミング制御部１４を介して、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３に対するタイミング制御を行う。撮像素子８は、可変光学系３により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部１２で所定のアナログ信号処理が行われ、アナログ処理後画像信号としてＡ／Ｄ変換部１３へ出力される。Ａ／Ｄ変換部１３では、アナログ処理後の画像信号をデジタル化し、画像データとして、画像処理部１５に供給する。
【００１９】
本実施の形態の電子カメラ１では、撮像素子８において、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されている場合を例にとり、画像処理部１５に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子８を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。
【００２０】
画像処理部１５は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１９で所定の圧縮処理が施され、メモリカード用インターフェース部２２を介してメモリカード３０に記録される。画像処理が完了した画像データは、圧縮処理を施さずにメモリカード３０に記録してもよい。
【００２１】
画像処理が完了した画像データは、メモリカード３０を介してＰＣ３１に提供される。外部インターフェース２３および所定のケーブルや無線伝送路を介してＰＣ３１に提供してもよい。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。
【００２２】
（ゴミの影響除去処理）
次に、撮影した各画像データにおいて、ゴミの影響を除去する処理について説明する。第１の実施の形態では、補正対象画像内でゴミ検出し、除去する方法を示す。光路途中に含まれるゴミは一般にぼけており、通常のエッジ検出フィルタに掛からない程度のシミが多数含まれる。ゴミは大きなゴミから小さなゴミまで種々あり、Ｆ値依存性が大きい。小さなゴミは絞り込んだ状態でもこのようにぼけた状況にあり、開放側では消滅している。一方、大きなごみは開放側でこのようにぼけた状況にある。この性質を利用して第１の実施形態では、一様照明の参照画像なしに、補正対象画像自身の中からゴミを自己抽出し、自己補正する方式を採用する。
【００２３】
ゴミの自己抽出は、後述するカーネルを使って透過率データを得る。正確なゴミの透過率信号を得るには平坦部でカーネルを使用する必要があり、平坦部を検出するためまず初めにエッジフィルタで補正対象画像の画像構造を調べる。ここで平坦部とは、画像内で部分的に一様な領域のことをいう。本実施の形態では、グラデーションやレンズの周辺減光を含む完全に一様ではない青空、一様に近い壁面なども一様な領域として検出される。また、一様な領域として検出された平坦部の画像にグラデーションやシェーディングなどが含まれていても、透過率を計算する際、グラデーションやシェーディングなどによる影響を受けないような演算がなされる。
【００２４】
（電子カメラ側の動作）
図３は、第１の実施の形態における、電子カメラ１側の撮影手順について説明する図である。１）瞳位置Ｐ１、絞り値Ａ１で通常撮影３０１を行い、補正対象画像データ１を出力する。２）瞳位置Ｐ２、絞り値Ａ２で通常撮影３０２を行い、補正対象画像データ２を出力する。３）瞳位置Ｐ３、絞り値Ａ３で通常撮影３０３を行い、補正対象画像データ３を出力する。４）瞳位置Ｐ４、絞り値Ａ４で通常撮影３０４を行い、補正対象画像データ４を出力する。すなわち、電子カメラ１を撮影したい被写体に向けた撮影を行い（通常撮影）、補正対象画像を得る。ここで、画像データを出力するとは、メモリカード３０に記録したり、外部インターフェース２３を介してＰＣ３１に直接出力したりすることを言う。
【００２５】
（画像処理装置側動作）
電子カメラ１で撮影された画像データは、所定の画像処理がなされた後ＰＣ３１に提供される。ＰＣ３１では、補正対象画像データを使用して、ゴミの影響除去処理を行う。ＰＣ３１は、ゴミの影響除去処理を行う画像処理装置と言ってもよい。補正対象画像データはベイヤ配列のＲＧＢ補間処理は済んだ状態でＰＣ３１に入力される。
【００２６】
図４は、画像処理装置であるＰＣ３１で行う処理のフローチャートを示す図である。ステップＳ２９では圧縮画像の解凍処理を行う。ステップＳ３０では、逆ガンマ補正を行う。ステップＳ３１では、輝度面の生成を行う。ステップＳ３２では、輝度面のガンマ補正、エッジ抽出フィルタ処理、閾値判定により、エッジマップの生成を行う。ステップＳ３３では、エッジマップに暗黒部を追加処理をする。ステップＳ３４では、エッジマップの拡大処理をする。ステップＳ３５では、平坦マップへの変換を行う。ステップＳ３６では、自己ゲイン抽出処理を行う。ステップＳ３７では、自己ゲイン補正処理を行う。以下、各ステップの詳細について説明する。
【００２７】
圧縮画像解凍処理
ステップＳ２９においては、圧縮されたままの状態では後述する逆ガンマ補正や本題のゴミ影響除去処理が行えないため、扱う画像形式に応じて圧縮画像の解凍処理を行う。例えば、ＪＰＥＧやＪＰＥＧ２０００のように非可逆圧縮された画像やＴＩＦＦなどのオプション機能で可逆圧縮された画像については、解凍処理が必要となる。
【００２８】
逆ガンマ補正
ステップＳ３０において逆ガンマ補正を行う。通例、８ビット出力されたＪＰＥＧ画像やＴＩＦＦ画像は、階調のガンマ処理がなされている。これらは、後述する平方根型の特性とは少し異なり、ゴミと画像内エッジとの分離の目的には最適ではないため、一旦線形階調に戻す。このとき、カメラや外部アプリケーションソフト内で行われたガンマ処理の方式が、ＪＰＥＧやＴＩＦＦ等の各ファイル内のタグに記載して埋め込んであり、このタグ情報を利用して逆ガンマ補正カーブを生成するものとする。非線形階調の入力信号をx((0≦x≦xmax)、線形階調の出力信号をy(0≦y≦ymax)とし、次式（１）を使用し、線形階調への変換を行う。この変換は各Ｒ，Ｇ、Ｂ成分についてそれぞれ行う。
【数１】
2004220553.tif 000003
【００２９】
ここで、ガンマ補正とは、ガンマ曲線つまり入出力の関係を変化させて、画像の濃淡を修正する方法で、画像の濃度の変化の仕方を変えることによって、明るさ、調子、色のバランスなどを調整できる。各カメラメーカーは画像ごとにいろいろな絵作りを実現させるために、複数のガンマ曲線を用意し、ハイコントラスト、ノーマルコントラスト、ローコントラストなどのモードを設けてユーザーに選択させたり、画像に応じてカメラが自動で選択するようにしている。これらのガンマ曲線は、入力信号ｙの区間ごとに定義されていたり、ルックアップテーブルで定義されていたりして、一義的に全区間に渡って１つの式で表すことはできないが、一般的に１つの式でその役割を表す場合、式（３３）のように表すこともある。絵作り用に用意されているガンマ曲線はこれから大きくずれていることがよくあるため、本処理は重要となる。なお、分かりやすく説明するために式（３３）の場合を例に取れば、式（３３）でγの値が１のときに入力信号と出力信号が正比例することを表す。
【数２】
2004220553.tif 000004
【００３０】
本実施の形態において処理される逆ガンマ補正とは、種々予め用意されたガンマ曲線を各画像ごとに用いられた曲線に合わせて式（１）の処理を行うことをいうが、式（３３）を用いて例にとると図５に示すγ＝０．３とした時の非線形の入出力関係を図６に示すγ＝１とした線形の入出力関係に戻すことをいう。
【００３１】
３）輝度面の生成
ステップＳ３１では、輝度面の生成を行う。補正対象画像データの各画素[i,j]について、次の式（２）を使用して、線形階調のＲＧＢ信号から線形階調の輝度信号Ｙを生成する。[i,j]は画素の位置を示す。
Y[i,j]=(R[i,j]+2*G[i,j]+B[i,j])/4 ...(2)
ＲＧＢ各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、ＲＧＢ３面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、R:G:B=0.3:0.6:0.1等であってもよい。
【００３２】
４）エッジマップの生成
ステップＳ３２においては、エッジ抽出フィルタを輝度面に掛けて、補正対象画像内の平坦部とエッジ部の分離を行う。光路途中に含まれるゴミの画像内への写り込みは非常にコントラストの低いゴミ影となって現れるため、従来技術のようなエッジ抽出フィルタで検出されない場合が多い。この事実を逆に利用すると、エッジ抽出フィルタで抽出されるエッジ部は、ゴミではなく基本的に画像内のエッジであると多くの箇所で仮定できる。この画像内のエッジとゴミとの区別を更によくするために初めに輝度面に対する階調補正処理を行う。
【００３３】
４−１）輝度面のガンマ補正
補正対象画像が線形階調（γ＝１）のまま入力されて、上述の輝度面が生成されているものとする。このとき、入力信号をY(0≦Y≦Ymax)、出力信号をY'(0≦Y'≦Y'max)、γ＝０．５とし、例えば次式（３）のような階調変換を施す。
【数３】
2004220553.tif 000005
ここで、図７はγ＝０．５としたときの非線形階調の入力信号と出力信号の関係を示す図である。なお、上記式（３）はべき乗関数になっている。また、γ＝０．５は、べき乗関数が平方根関数となっている。このように式（３）が平方根となるような特性により補正を行うことを、ここでは平方根型のガンマ補正と呼ぶ。
【００３４】
この変換は、低輝度側の中間調のコントラストを上げ、高輝度側のコントラストを下げる処理である。すなわち、ゴミ影は暗いところでは目立ちにくく明るいところで目立つため、明るいところのゴミ影のコントラストはこの変換によって下がり、一方の通常の画像エッジは主に中間調に分布するため相対的にコントラストを上げている。したがって、ゴミ影と通常エッジのコントラストの分離度が良くなる。さらにY'の量子ゆらぎに起因するショットノイズを全階調にわたって均一に扱えるように変換するには、誤差伝播則から考えてγ＝０．５にとるのが最もよい。ここで２）の逆ガンマ処理とこの平方根型のガンマ補正を１つの階調変換処理としてまとめても等価である。
【００３５】
４−２）エッジ抽出フィルタ処理
次に、ガンマ補正のなされた輝度面Ｙ'に対して、図８および次式（４）によるエッジ抽出フィルタを掛ける。各画素のエッジ抽出成分をYH[i,j]とする。
YH[i,j]={|Y'[i-1,j]-Y'[i,j]|+|Y'[i+1,j]-Y'[i,j]|
+|Y'[i,j-1]-Y'[i,j]|+|Y'[i,j+1]-Y'[i,j]|
+|Y'[i-1,j-1]-Y'[i,j]|+|Y'[i+1,j+1]-Y'[i,j]|
+|Y'[i-1,j+1]-Y'[i,j]|+|Y'[i+1,j-1]-Y'[i,j]|
+|Y'[i-2,j-1]-Y'[i,j]|+|Y'[i+2,j+1]-Y'[i,j]|
+|Y'[i-2,j+1]-Y'[i,j]|+|Y'[i+2,j-1]-Y'[i,j]|
+|Y'[i-1,j-2]-Y'[i,j]|+|Y'[i+1,j+2]-Y'[i,j]|
+|Y'[i-1,j+2]-Y'[i,j]|+|Y'[i+1,j-2]-Y'[i,j]|
+|Y'[i-3,j]-Y'[i,j]|+|Y'[i+3,j]-Y'[i,j]|
+|Y'[i,j-3]-Y'[i,j]|+|Y'[i,j+3]-Y'[i,j]|
+|Y'[i-3,j-3]-Y'[i,j]|+|Y'[i+3,j+3]-Y'[i,j]|
+|Y'[i-3,j+3]-Y'[i,j]|+|Y'[i+3,j-3]-Y'[i,j]|}/24  ...(4)
ここで、上記フィルタは、画像本来のエッジ部ができるだけ全て抽出されるように、複数の相関距離をもつ絶対値差分をあらゆる方向から漏れなく集めるように設計されている。
【００３６】
４−３）閾値判定
次式（５）（６）により、エッジ抽出成分YHを閾値判定して、エッジ部か平坦部かの分類を行い、結果をエッジマップEDGE[i,j]に出力する。閾値Th1は255階調に対して1〜5程度の値をとる。エッジ部の上に存在するゴミ影は、基本的にゴミ影がエッジ部の振動する信号に埋もれてしまって目立たないためゴミ除去の不要な領域である。
if  YH[i,j]＞Th1    EDGE[i,j]=1（エッジ部）  ...(5)
else                EDGE[i,j]=0（平坦部）    ...(6)
以上のように、エッジ検出で検出されなかった領域を平坦部という。
【００３７】
上記のように、４−１）で階調変換を行って階調間の重み付けを変え、４−３）で全階調にわたって一定の閾値Th1で閾値判定を行っている。しかし、ほぼ同等な効果は、線形階調のままでエッジ抽出を行い、輝度レベルに応じた閾値を設定して、閾値判定を行うようにしても可能である。
【００３８】
５）エッジマップに暗黒部を追加
エッジマップは、後述するゲインマップ抽出をしてはいけない領域を表す。エッジ領域の他に、ゲインマップ抽出するのが危険な領域が暗い領域（暗黒部）である。暗黒部は、S/Nが悪いため相対ゲインを抽出しても信頼性が低い。更に暗黒部上に存在するゴミ影はほとんど目立たないのでゴミ除去する必要性がない。したがって、ステップＳ３３において、暗い領域も次式（７）によりエッジマップに追加する。閾値Th2は、255線形階調に対しておよそ20以下の値に設定するものとする。模式的にこの操作を「EDGE'=EDGE+DARK」と記述すると分かりやすい。
if    Y[i,j]≦Th2    EDGE[i,j]=1    ...(7)
【００３９】
６）エッジマップの拡大処理
後述する８−１）においては、平坦部内で局所平均を取る範囲(2a+1)x(2b+1)画素の中心値と平均値の相対比を比較して透過率マップを生成する。従って、ステップＳ３４において事前にエッジ部がこのカーネル内に入らないように、次式（８）により、エッジ部の(2a+1)x(2b+1)画素拡大処理を行う。m=1,2,...,a、n=1,2,...,bである。
if    EDGE[i,j]=1    EDGE[i±m,j±n]=1  ...(8)
【００４０】
７）平坦マップへの変換
ステップＳ３５において、次式（９）（１０）により、エッジマップEDGE[i,j]を平坦マップFLAT[i,j]に変換する。ビット反転によって達成される。平坦マップが示す平坦領域は、(2a+1)x(2b+1)画素で構成されるゲインマップ抽出カーネルが補正対象画像内で自己抽出してよい領域を表す。
if    EDGE[i,j]=0    FLAT[i,j]=1（平坦部）    ...(9)
else                 FLAT[i,j]=0（エッジ部）  ...(10)
【００４１】
８）自己ゲイン抽出
ステップＳ３６において、以下の処理からなるFLAT[i,j]=1の領域に対する透過率マップの生成（ゲインマップ抽出）を行う。
【００４２】
８−１）局所的規格化処理（自己ゲイン抽出処理）
平坦マップが示す平坦領域は必ずしも完全に一様なものでない。このような平坦領域に対して、局所的な画素値の規格化（正規化）処理を行って、FLAT[i,j]=1の領域の各画素の透過率信号T[i,j]を、次式（１１）を使用して算出する。すなわち、着目画素[i,j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。そして、FLAT[i,j]=0の領域は全てT[i,j]=1に設定する。これにより平坦領域データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ（ゲインマップ）と言う。透過率マップは、補正対象画像の平坦部領域の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号（色情報）や輝度信号（輝度情報）の値である。例えば、１バイトで表される場合、０〜２５５の値を取る。
【数４】
2004220553.tif 000006
【００４３】
ここで、局所平均を取る範囲(2a+1)x(2b+1)画素は、最大に想定されるゴミ径より大きめにとる。理想的には面積的にゴミ影よりも3倍程度以上の広さを取れば、正確な透過率データが得られる。ａは着目画素[i,j]を中心に左右に広がる画素数、ｂは着目画素[i,j]を中心に上下に広がる画素数を示す。例えば、撮像素子８の画素ピッチを１２ｕｍとし、撮像面とゴミ付着面との距離を１．５ｍｍとすると、絞り値Ｆ２２のとき、巨大なゴミの直径は１５画素程度、絞り値Ｆ４のとき、巨大なゴミの直径は４０画素程度となる。従って、ａ＝４０、ｂ＝４０とし、局所平均を取る範囲は８１×８１画素範囲のように設定するとよい。また、数百万画素クラスのセンサーであれば、１０１×１０１画素の固定でもよい。これらは一例であり、他の画素数による画素範囲であってもよい。
【００４４】
ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅するが、大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出る。そのため、処理を高速化する場合は、間引いた画素で代表して処理しても問題ない。
【００４５】
この(2a+1)x(2b+1)画素の範囲で相対比を演算する処理を、局所的規格化処理（自己ゲイン抽出処理）と呼ぶ。(2a+1)x(2b+1)画素の範囲で相対化演算するフィルタのことを、ゲイン抽出カーネルと呼んでもよい。図９は、輝度面に対して局所的規格化処理を施した様子を示す図である。図９（ａ）は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号４１と符号４２は、ゴミにより輝度信号が低下していることを示す。図９（ｂ）は、図９（ａ）の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号４３、４４は、図９（ａ）の符号４１、４２に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シェーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。
【００４６】
８−２）透過率マップの統計解析
前述の透過率マップに含まれるゴミ情報とランダムノイズを区別するため、前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値Ｍを次式（１２）により求め、標準偏差σを次式（１３）により求める統計解析を行う。なお、Nx,Nyは、ｘ方向、ｙ方向の総画素数を表す。
【数５】
2004220553.tif 000007
【数６】
2004220553.tif 000008
【００４７】
８−３）閾値判定
基本的に透過率マップに占めるゴミ信号の面積的な割合は十分に小さく、８−２）で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ（ショットノイズ）を評価していると考えられる。図９における符号４５部分を拡大した符号４６は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値Ｍ（Ｍはほぼ１に近い値）を中心に標準偏差σの正規分布した形となる。図１０は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を１に設定してよい。すなわち、次の条件（１４）（１５）により閾値判定を行う。
if    |T[i,j]-M|≦3σ    then  T[i,j]=1      ...(14)
else                           T[i,j]=T[i,j] ...(15)
【００４８】
正規分布するランダムデータは、±３σの範囲を集めれば９９．７％になるので、ほぼ正確にランダムノイズの影響を除外することができる。±３σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常１より小さな値となる。
【００４９】
しかし、割合は少ないが１より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理（屈折率の不均一）で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法は利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子８に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。
【００５０】
なお、ゴミ影の影響のみを取り除く場合は、以下の条件（１６）（１７）（１８）により閾値判定するとよい。
if    |T[i,j]-M|≦3σ    then  T[i,j]=1       ...(16)
else if    T[i,j]>1            T[i,j]=1       ...(17)
else                           T[i,j]=T[i,j]  ...(18)
判定に使う平均値Ｍは常に１に近い値をとるため、１に置き換えてもよい。
【００５１】
このようにして、欠陥の画素位置を表すマップ情報（Ｔ＝１か否かで判断）と、欠陥の度合いを表す透過率情報の２種類の欠陥情報が同時に得られることになる。なお、上述の透過率マップは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。
【００５２】
通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラストが低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となり、目的の光路途中の異物による影響補正が可能となる。
【００５３】
９）自己ゲイン補正
ステップＳ３７では、自己ゲイン補正を行う。上記のように求めた透過率マップを使用して補正対象画像データの補正を行う。補正対象画像データのＲ，Ｇ，Ｂ値各々に対して、式（１９）（２０）（２１）で示すように、透過率信号の逆数を掛け算してゲイン補正を行う。
R[i,j]=R[i.j]/T[i,j] ...(19)
G[i,j]=G[i.j]/T[i,j] ...(20)
B[i,j]=B[i.j]/T[i,j] ...(21)
【００５４】
これにより、ゴミ影による輝度の低下をきれいに補正できる。加えて、補正の必要性のない所は透過率マップが閾値判定されているため、余計な補正を行わないようにできる。すなわち、ゴミのない箇所の透過率Ｔにはランダムノイズの影響が取り除かれているので、ＲＧＢ信号のノイズが増幅される心配がない。
【００５５】
１０）ガンマ補正
このように線形階調でゴミの透過率分だけゲイン補正されたＲ，Ｇ、Ｂ成分に対し、ステップＳ３８にてユーザーがすぐに画像確認できるように元の非線形階調特性に戻す変換を次式（３４）により行う。
x'=γ(y) ...(34)
【００５６】
以上のように、第１の実施の形態では、ゴミ対策用の特別な機構を備えていない普通の電子カメラでも、任意の時刻に撮影した最終出力用にガンマ処理がなされた画像を適切に補正することができる。さらに、一様面の基準画像データがなくても、補正対象画像自身のゴミを自己抽出して補正することができる。すなわち、１つの撮影画像内で上記したように平坦性が保証できる所定の条件を満たす領域を抽出する。抽出した同一の領域を基準画像としかつ補正対象画像とする。また、可変光学系の影響を全く加味する必要性がない。特に、膨大な数を占める小さなゴミ影の除去に威力を発揮する。
【００５７】
−第２の実施の形態−
第２の実施の形態では、ゴミ情報を得るための基準画像を一度だけ撮影し、ゴミ位置に関する情報を利用しながら、透過率マップは基準画像からではなく、第１の実施の形態のように補正対象画像自身から自己抽出する方式を採用したものである。第１の実施の形態では、エッジマップ抽出において大きなゴミはエッジとして抽出されてしまい、補正がなされない場合が生じるが、第２の実施の形態は、このような第１の実施の形態の不具合にも対処するものである。すなわち、第１の実施の形態による信頼性の高い透過率マップの生成方法を利用しながら、若干ユーザーの負荷はかかるが、ゴミ参照用に一日から一月に一回程度一様な基準画像を撮影した画像を利用して、ゴミ除去性能を更に上げる方式である。
【００５８】
基準画像は、完全に一様な白基準データではなく、青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データは、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。基準画像と補正対象画像の光学的条件（瞳位置、Ｆ値）の違いは画像処理側で対応する。
【００５９】
なお、電子カメラ１および画像処理装置としてのＰＣ３１の構成は、第１の実施の形態と同様であるので、その説明を省略する。
【００６０】
（電子カメラ側動作）
図１１は、第２の実施の形態における、電子カメラ１側の撮影手順について説明する図である。１）瞳位置Ｐ０、絞り値Ａ０で一様面撮影２０１を行い、基準画像データ０を出力する。２）瞳位置Ｐ１、絞り値Ａ１で通常撮影２０２を行い、補正対象画像データ１を出力する。３）瞳位置Ｐ２、絞り値Ａ２で通常撮影２０３を行い、補正対象画像データ２を出力する。４）瞳位置Ｐ３、絞り値Ａ３で通常撮影２０４を行い、補正対象画像データ３を出力する。すなわち、まず、電子カメラ１を空や壁面に向けて一様な面の撮影を行い（一様面撮影）、その後、電子カメラ１を撮影したい被写体に向けて随時撮影する（通常撮影）。
【００６１】
ここで、基準画像の絞り値Ａ０は、可変光学系３に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばＦ２２程度である。一方、補正対象画像の絞り値は、基準画像と同じか、それより開放側であるものとする。
【００６２】
一様面撮影は、ゴミの付着状態が変化しないかぎり省くことができる。一様面撮影の挿入回数が多いに越したことはないが、通常は一日一回程度のデータでもあれば、有効なゴミデータになりうる。一様面撮影を行うか否かの判断は、撮影者に委ねられる。しかし、先に行った一様面撮影があまりにも時間的に離れている場合は、その一様面撮影による基準データは信頼性に欠ける場合も生じる。従って、通常撮影から所定時間内の一様面撮影の基準画像データのみを使用するようにしてもよい。また、必ずしも一様面撮影を先に行う必要はない。後に行った一様面撮影の基準画像データを使用してもよい。一様面撮影が、通常撮影の前後に複数ある場合は、時間的に最も近い一様面撮影の基準画像データを使用するようにしてもよい。あるいは、新規付着ゴミの可能性を気にするのであれば、撮影前後の２番目に近いものまでの中からどちらかを選択するようにしてもよい。
【００６３】
（画像処理装置側動作）
図１２は、画像処理装置であるＰＣ３１で行う処理のフローチャートを示す図である。
【００６４】
＜基準画像に対する処理＞
１）圧縮画像解凍処理
基準画像のファイルが圧縮されている場合、ステップＳ３９の圧縮画像解凍処理において、第１の実施の形態の１）で補正対象画像に対して行った方法と同様に解凍処理を行う。
【００６５】
２）逆ガンマ補正
基準画像の階調が線形階調ではなく、ガンマ補正のなされた非線形階調の場合、ステップＳ４０において、第１の実施の形態の２）で補正対象画像に対して行った方法と同様に逆ガンマ補正を行う。
【００６６】
３）輝度面の生成
ステップＳ４１の輝度面の生成は、第１の実施の形態の３）で補正対象画像に対して行った方法と同様である。
【００６７】
４）透過率マップの生成
ステップＳ４２では、以下の手順に従って透過率マップの生成を行う。
４−１）局所的規格化処理（ゲイン抽出処理）
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、第１の実施の形態の８−１）において平坦領域のみに対して行った式（１１）の処理をここでは全ての画素に対して行う。これにより、各画素の透過率信号T[i,j]を算出する。
【００６８】
４−２）透過率マップのローパス処理
透過率マップのローパス処理は選択可能としてもよいが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号T[i,j]には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が１に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く４−４）の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式（２２）によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
T[i,j]={4*T[i,j]
+2*(T[i-1,j]+T[i+1,j]+T[i,j-1]+T[i,j+1])
+1*(T[i-1,j-1]+T[i-1,j+1]+T[i+1,j-1]+T[i+1,j+1])}/16  ...(22)
【００６９】
４−３）透過率マップの統計解析
透過率マップの統計解析は、第１の実施の形態の８−２）で行った方法と同様である。
【００７０】
４−４）閾値判定
閾値判定は、第１の実施の形態の８−３）で行った方法と同様である。
【００７１】
５）透過率マップの瞳位置変換
ステップＳ４３では、透過率マップの瞳位置変換を行う。基準画像と補正対処画像の瞳位置が相互に異なっているとき、基準画像のゴミ位置を、補正対象画像の瞳位置から見たときに出現すると予測されるゴミ位置に瞳位置変換する。図１３は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図１３（ａ）は、瞳位置とゴミと撮像素子８の撮像面との関係を示す図である。図１３（ｂ）は、瞳位置の変化に伴い撮像面上でゴミ影が移動している様子を示す図である。
【００７２】
図１３から明らかなように、瞳位置が異なると画像内に写り込むゴミの位置は、光軸５１すなわち画像の中心から動径方向にずれる。ここで、画像内の光軸５１から距離rの位置にあるゴミが、動径方向にずれる量Δrを見積もる。基準画像の瞳位置をP0、補正対象画像の瞳位置をP0'、撮像面から距離lの位置にゴミが付着しているとすると、Δrは、次式（２３）により計算することができる。
【数７】
2004220553.tif 000009
ただし、距離lは光学部品の厚みを空気中の光路長に換算した値である。
【００７３】
基準画像の透過率マップT[i,j]を、極座標[r,θ]上で次式（２４）により[r',θ]に変位させ、座標[i,j]上の透過率マップT'[i,j]に変換する。
【数８】
2004220553.tif 000010
ずれ量Δrは、光軸５１から距離が遠くになるに従い大きくなる。実際の画像の周辺部では、瞳位置の値によっては数十画素に及ぶこともある。
【００７４】
６）透過率マップのＦ値変換
ステップＳ４４では、透過率マップのＦ値変換を行う。基準画像と補正対処画像の絞り値が相互に異なっているとき、基準画像のゴミ径と透過率を、補正対象画像のより開放側絞り値でのゴミ径と透過率にＦ値変換する。図１４は、絞り値であるＦ値が変化するとゴミ影の大きさが変化する様子を示す図である。図１４（ａ）は、Ｆ値が大きい場合、図１４（ｂ）は、Ｆ値が小さい場合を示す。図１４から明らかなように、Ｆ値の定義式（Ｆ＝焦点距離／レンズの有効口径）を、相似関係にある撮像面からゴミ付着位置までの距離lとゴミ広がりΓに当てはめると次式（２５）が成立する。
【数９】
2004220553.tif 000011
【００７５】
ｌを撮像素子の画素ピッチａ［ｍｍ／ｐｉｘｅｌ］で割り算すると、ゴミ径は画素数で表記できる。このようにして、絞りがＦ値のとき、点像のゴミは幅Γの大きさに広がることが予測できる。
【００７６】
一方、その点像の分布関数は、絞り値内で開口したレンズの各入射角度から均等に点像ゴミに光を当ててゴミ影を広げていると考えられるので、完全に一様な広がりを持つ関数と想定してよい。したがって、Ｆ値変換には、フィルタ幅Γ画素で表される一様なローパスフィルタ処理を掛けることによって、ゴミ径と透過率を正確に予測するＦ値変換が可能となる。ローパスフィルタは直径がΓの円形状の非分離型フィルタが普通と考えられるが、処理の高速化を念頭に、縦Γ、横Γの正方状の分離型フィルタでも問題ない。
【００７７】
例えば、ｌ＝０．５ｍｍ、ａ＝５μｍ／ｐｉｘｅｌの場合にＦ２２の透過率マップを、Ｆ１６、Ｆ１１、Ｆ８、Ｆ５．６、Ｆ４に変換する場合に当てはめると、正方状の分離型フィルタの一次元フィルタ係数は図１５のような形式に表される。図１５の一次元フィルタ係数を使用して、縦横それぞれフィルタリングをする。なお、絞り値Ｆ１６の一次元フィルタ係数は、両端に０．５の係数を持ち、７つの係数を有する。これは、偶数幅の広がりを着目画素を中心に左右上下に均等に広がる奇数幅の範囲でフィルタリングをするためである。図１６は、絞り値Ｆ１６フィルタを２次元フィルタで表した図である。
【００７８】
上記の変換処理を行うことにより、基準画像の透過率マップは、補正対象画像の瞳位置、Ｆ値の状態の透過率マップに変換される。すなわち、基準画像の透過率マップは、補正対象画像が撮影される光学的条件下で生成される透過率マップと等価な透過率マップが生成される。
【００７９】
７）透過率マップの閾値判定
ステップＳ４５では、透過率マップの閾値判定を行う。透過率マップのＦ値変換が行われた場合は、ローパスフィルタ処理によりほとんどゴミ影が消滅しかかっている透過率１に近い画素が多数発生する。これらを鮮明なゴミ影と区別するため、次式（２６）（２７）により再度閾値判定を行う。ここで、４）の「透過率マップの生成」過程で算出した標準偏差値σを再度利用する。瞳位置、Ｆ値変換された透過率マップをT'[i,j]で表す。
if    |T'[i,j]-1|≦3σ  then  T'[i,j]=1        ...(26)
else                          T'[i,j]=T'[i,j]  ...(27)
【００８０】
８）ゴミマップへの変換
ステップＳ４６では、次式（２８）（２９）により透過率マップを２値化してゴミマップdmap[i,j]に変換する。
if    T'[i,j]＜1    dmap[i,j]=1  ...(28)
else                dmap[i,j]=0  ...(29)
ここで式（２８）の判定は、もう少し余裕をもたせてT'[i,j]＜0.95のように判定してもよい。
【００８１】
９）ゴミマップの拡大処理
ステップＳ４７では、次式（３０）により瞳位置変換で想定される誤差分だけゴミマップを拡大しておくことにより、許容誤差内の領域にはゴミが含まれるようなゴミマップにする。ここでは、例えば±３画素の誤差を見込む。m=1,2,3、n=1,2,3である。
if    dmap[i,j]=1    dmap[i±m,j±n]=1  ...(30)
【００８２】
＜補正対象画像に対する処理＞
１）圧縮画像解凍処理
ステップＳ４９の圧縮画像の解凍処理は、第１の実施の形態の１）と同様である。
【００８３】
２）逆ガンマ補正
ステップＳ５０の逆ガンマ補正は、第１の実施の形態の２）と同様である。
【００８４】
３）輝度面の生成
ステップＳ５１の輝度面の生成は、第１の実施の形態の３）と同様である。
【００８５】
４）エッジマップ生成
ステップＳ５２のエッジマップの生成は、第１の実施の形態の４）と同様である。
【００８６】
５）エッジマップに暗黒部を追加
ステップＳ５３のエッジマップに暗黒部を追加する処理は、第１の実施の形態の５）と同様である。模式的にこの操作を「EDGE'=EDGE+DARK」と記述すると分かりやすい。
【００８７】
６）エッジマップからゴミ領域を除外
ステップＳ５４では、エッジマップからゴミ領域を除外する。ゴミ影の多くはコントラストが低いためエッジ抽出されないが、中には大きなゴミでコントラストの高いものがあり、エッジ抽出されてしまうことがある。特に絞り込んで撮影された補正対象画像内で幾つかのゴミ影に発生する。これらのゴミ影がエッジ領域としてゲイン抽出領域の指定から外れることを防ぐため、ステップＳ４６で求めたゴミマップ情報を利用して、次式（３１）によりゴミ位置を強制的にエッジ部から除外する処理を行う。ここで、あまり大きくエッジ領域を削ることを防ぐため、ステップＳ４７のゴミマップの拡大処理を行う前のゴミマップを利用することにする。模式的にこの操作を「EDGE''=EDGE+DARK-DUST」と記述すると分かりやすい。
if    dmap[i,j]=1    EDGE[i,j]=0  ...(31)
【００８８】
７）エッジマップの拡大処理
ステップＳ５５のエッジマップの拡大処理は、第１の実施の形態のステップＳ３４と同様である。
【００８９】
８）平坦マップへの変換
ステップＳ５６の平坦マップへの変換は、第１の実施の形態のステップＳ３５と同様である。
【００９０】
９）自己ゲイン抽出領域の特定
ステップＳ５７では、自己ゲイン抽出領域の特定をする。平坦部でかつゴミ領域と特定されている領域に限定して、ゴミ除去を行うのが補正対象画像の誤った補正を防ぐ観点から最も合理的である。したがって、この両条件を満たす領域情報を次式（３２）により求め平坦マップに代入する。すなわち、FLATとdmapに両方に1のフラグが立っている場合のみFLAT=1となり、それ以外はFLAT＝０となる。
FLAT[i,j]=FLAT[i,j]*dmap[i,j]  ...(32)
【００９１】
１０）自己ゲイン抽出
ステップＳ５８の自己ゲイン抽出は、第１の実施の形態とは異なり、局所的規格化処理（ゲイン抽出処理）のみ行う。それ以降の透過率マップの統計解析と閾値処理によるゴミ領域限定処理は、前述した「９）自己ゲイン抽出領域の特定」の処理により既にゴミ近傍に限定されているので不要である。局所的規格化処理（ゲイン抽出処理）は、第１の実施の形態と同様である。このように、ステップＳ４７の処理によって瞳位置変換精度の誤差分だけゴミ周辺にゲイン抽出領域を広げてゴミ探索することにより、漏れなくゴミ抽出することが可能となる。
【００９２】
ここで自己抽出した透過率マップに対してローパス処理を行う。T[i,j]の自己抽出した全領域に、本実施の形態で基準画像に対して行った処理と同様なローパス処理をして、T[i,j]に含まれる画素[i,j]のゆらぎ成分を除去する。本実施の形態では、ゴミ位置の局所領域のみに限定して、統計解析による閾値処理を介さないで、自己ゲイン抽出による自己ゲイン補正を行うので、このローパス処理は重要な処理となる。すなわち、ローパス処理前は画素値と透過率値T[i,j]が同じ方向にゆらいでいるため、ローパス処理をしないで後述の自己ゲイン補正すると、画像はその局所領域のみ全体的にのっぺりとなりやすい。そこで、T[i,j]のゆらぎ成分を取り除いてやれば、画素値が持つゆらぎ成分を失わずに済み、周辺部との粒状性の連続性が保てるようになる。これは、特に高感度画像のような乱雑性が多い場合に威力を発揮する。ここで、ローパスフィルタは、基準画像に対するものよりももう少し強めに設計してもかまわないし、ローパスフィルタの影響を受けやすい大きなゴミ部分（T[i,j]の値が１に比べかなり小さい所）だけはローパスフィルタ処理を外すようにしても構わない。
【００９３】
１１）自己ゲイン補正
ステップＳ５９の自己ゲイン補正は、第１の実施の形態のステップＳ３７と同様である。基準画像の透過率マップの瞳位置変換精度が悪くても、補正対象画像自身からゴミの透過率情報を抽出するので、全くずれのないきれいな補正が可能となる。なお、自己ゲインの抽出は、ステップＳ５７で特定された自己ゲイン抽出領域に限って行われる。従って、補正処理もこの範囲に限ってのみ行われ、処理の負荷が軽減される。
【００９４】
１２）ガンマ補正
ステップＳ６０のガンマ補正は、第１の実施の形態のステップＳ３８と同様である。
【００９５】
以上のように、第２の実施の形態では、基準画像のゴミマップ情報を有効に利用することによって、最終出力用にガンマ処理がなされた補正対象画像内の大きなゴミから小さなゴミまであらゆるゴミを漏れなく自己抽出することが可能となる。また、基準画像の透過率マップの瞳位置変換精度が悪い場合においても問題なくゴミの自己抽出が可能となる。さらに、基準画像撮影の撮影者の負荷は非常に小さくて済む。
【００９６】
上記説明した第１の実施の形態および第２の実施の形態の画像処理装置では、電子カメラで任意の使用時刻、任意の使用条件で撮影した最終出力用にガンマ処理がなされた画像において生じたゴミ等の影響による黒染み等の欠陥を、適切に補正し、高品質な画像を再現することができる。
【００９７】
なお、上記第２の実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、紙をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても(2a+1)x(2b+1)サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にボケれば十分に目的を達成することのできる一様に近い基準画像になり得る。
【００９８】
また、上記第２の実施の形態では、ステップＳ５７で自己ゲイン抽出領域の特定をし、ステップＳ５８では限定された範囲で補正を行うようにした。このように補正範囲をゴミ領域を含む周辺範囲（近傍領域）に限定する手法は、上記第１の実施の形態において適用することも可能である。第１の実施の形態では、求められた透過率マップからゴミを特定し、その周辺領域を求めればよい。
【００９９】
また、上記実施の形態では、画像圧縮形式としてＪＰＥＧ、ＪＰＥＧ２０００、ＴＩＦＦのオプション機能を例に挙げて説明したが、ＺＩＰなど、その他あらゆる画像圧縮形式に対しても適用が可能である。また、上記実施の形態では、ガンマ補正により非線形階調に変換された８ビット出力のＪＰＥＧ，ＴＩＦＦ画像を例に挙げて説明したが、８ビットのＢＭＰ、ＰＩＣＴ、ＰＮＧなどの非線形階調データや１６ビットのＴＩＦＦにおける非線形階調データなど、その他あらゆる非線形階調データに対してもガンマ特性が特定できるようになっていれば適用可能である。
【０１００】
また、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系（例えば補色表色系）であっても同様である。
【０１０１】
また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式のカメラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。
【０１０２】
また、上記実施の形態では、電子スチルカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【０１０３】
また、上記実施の形態では、電子カメラ１で撮影した画像データをＰＣ（パソコン）３１で処理してゴミの影響を除去する例を説明したが、必ずしもこの内容に限定する必要はない。電子カメラ１上で、そのようなプログラムを備えてもよい。また、プリンターや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
【０１０４】
ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図１７はその様子を示す図である。ＰＣ３１は、ＣＤ−ＲＯＭ３４を介してプログラムの提供を受ける。また、ＰＣ３１は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをＰＣ３１に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【図面の簡単な説明】
【０１０５】
【図１】交換レンズ方式の電子カメラの構成を示す図である。
【図２】電子カメラのブロック図とパーソナルコンピュータ（ＰＣ）および周辺装置を示す図である。
【図３】第１の実施の形態における、電子カメラ側の撮影手順について説明する図である。
【図４】第１の実施の形態における、ＰＣで行う処理のフローチャートを示す図である。
【図５】γ＝０．３の時のガンマ曲線
【図６】γ＝１の時のガンマ曲線
【図７】γ＝０．５の時のガンマ曲線
【図８】エッジ抽出フィルタを示す図である。
【図９】輝度面に対して局所的規格化処理を施した様子を示す図である。
【図１０】透過率マップのヒストグラムを示す図である。
【図１１】第１の実施の形態における、電子カメラ側の撮影手順について説明する図である。
【図１２】第２の実施の形態における、ＰＣで行う処理のフローチャートを示す図である。
【図１３】瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。
【図１４】絞り値であるＦ値が変化するとゴミ影の大きさが変化する様子を示す図である。
【図１５】各絞り値に対する一次元フィルタ係数を示す図である。
【図１６】絞り値Ｆ１６における透過率マップに変換するフィルタを２次元フィルタで表した図である。
【図１７】第２の実施の形態における、ＰＣで行う処理のフローチャートを示す図である。
【符号の説明】
【０１０６】
１  電子カメラ
２  カメラ本体
３  可変光学系
４  レンズ
５  絞り
６  シャッター
７  光学部品
８  撮像素子
９  マウント部
１２  アナログ信号処理部
１３  Ａ／Ｄ変換部
１４  タイミング制御部
１５  画像処理部
１６  操作部
１７  制御部
１８  メモリ
１９  圧縮／伸長部
２０  表示画像生成部
２１、３２  モニタ
２２  メモリカード用インタフェース部
２３  外部インタフェース部
２４  バス
３０  メモリカード
３１  ＰＣ（パーソナルコンピュータ）
３３  プリンタ
３４  ＣＤ−ＲＯＭ
【図１】
2004220553.tif 000012
【図２】
2004220553.tif 000013
【図３】
2004220553.tif 000014
【図４】
2004220553.tif 000015
【図５】
2004220553.tif 000016
【図６】
2004220553.tif 000017
【図７】
2004220553.tif 000018
【図８】
2004220553.tif 000019
【図９】
2004220553.tif 000020
【図１０】
2004220553.tif 000021
【図１１】
2004220553.tif 000022
【図１２】
2004220553.tif 000023
【図１３】
2004220553.tif 000024
【図１４】
2004220553.tif 000025
【図１５】
2004220553.tif 000026
【図１６】
2004220553.tif 000027
【図１７】
2004220553.tif 000028