(57)【要約】【課題】画像情報から欠陥部分の影響を良好に除去することである。【解決手段】画像取得部１４から取得された画像情報は可視域及び赤外域の画像情報を含む。画像処理部１１は、赤外域の画像情報から傷、ゴミの画像欠陥領域を取得し、赤外域の補正値により可視域の画像情報を補正し、その補正結果の良否を評価し、その評価結果に基づいて可視域の画像欠陥領域に各種処理を行う。【選択図】      図１
2004318693.tif 000002
【特許請求の範囲】
【請求項１】
画像原稿における少なくとも赤外域及び可視域の２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理方法において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得し、
前記画像欠陥領域が前記可視域の画像情報に与える影響を推定して、前記影響を補正するよう、前記可視域の画像情報の信号強度を補正し、
前記補正の良否を評価し、その評価結果が否となった場合は、前記欠陥領域近傍の正常画素の値に基づいて前記可視域の画像欠陥領域の処理を行うことを特徴とする画像処理方法。
【請求項２】
前記評価において、前記補正済みの可視域の画像情報と、前記補正前の可視域の画像情報とにおける、前記画像欠陥領域とその周辺領域とのそれぞれの代表値を比較して評価することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
画像原稿の少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理方法において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得し、
前記赤外域の画像情報の前記画像欠陥領域内のテクスチャ構造を評価し、該評価結果に基づいて前記可視域の画像情報の補正を行うことを特徴とする画像処理方法。
【請求項４】
同一の前記可視域の画像情報に補正処理と補間処理とを行う場合に、まず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項５】
画像欠陥を画像情報から検出して、前記画像欠陥の補正処理及び／又は補間処理する画像処理を前記画像情報に行い、その処理済の画像情報に、鮮鋭性の調整と粒状性の調整と画像サイズの調整との内、少なくとも１つの後処理を実行する画像処理方法において、
前記画像情報を、前記補正処理及び／又は前記補間処理の対象となった第１の画素と、該第１の画素の近傍に位置し、前記補正及び／又は前記補間処理の対象とならなかった第２の画素と、前記第１の画素及び前記第２の画素のどちらにも属さない第３の画素とに分類し、その分類に関する分類情報に基づいて前記後処理を行うことを特徴とする画像処理方法。
【請求項６】
前記分類において、前記第１の画素は、前記補正処理の対象となった第１のグループと、前記補間処理の対象となった第２のグループとに分類され、前記分類情報と前記グループに関するグループ情報とに基づいて前記第１の画素に前記後処理を行うことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
画像欠陥を画像情報から検出して、前記画像欠陥の特性に応じた補正処理及び補間処理により前記画像欠陥を除去する画像処理を行い、出力画像情報を得る画像処理方法において、
同一の画像情報にまず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする画像処理方法。
【請求項８】
前記補間処理による画像処理において、前記画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、前記画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行うことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
画像原稿の、少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得し、前記赤外域の画像情報を用いて、画像欠陥領域を求め、該画像欠陥領域の影響を補償する補正値を求め、該補正値を可視信号に適用する際に用いる修正値を設定し、前記補正値及び前記修正値の積により修正補正値を得て、その修正補正値で前記可視域の画像情報を補正する画像処理を行い、出力画像情報を得る画像処理方法において、
前記修正値の設定において、前記画像欠陥領域内に存在する各注目画素について、前記注目画素を通る複数方向の線分のうち、前記画像欠陥領域内の長さが最も短い線分の長さを表す線分距離情報に基づいて前記修正値を設定することを特徴とする画像処理方法。
【請求項１０】
前記画像欠陥領域の周囲に存在する画素を周辺領域と定義し、
前記修正値の設定において、
前記画像欠陥領域内に存在する各注目画素について、前記線分距離情報と、前記線分距離情報に対応する線分に重なる前記周辺領域内の画素群とを抽出し、可視域の画像情報の前記画素群及び前記注目画素から仮の可視画像補正値を求め、
前記赤外域の補正値を前記可視画像補正値で除した除値を求め、該除値と、前記線分距離情報との関連をプロットし、該プロット結果から代表曲線を求め、該代表曲線に基づいて前記修正値を設定することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
画像原稿における少なくとも赤外域及び可視域の２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理装置において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得手段と、
前記画像欠陥領域が前記可視域の画像情報に与える影響を推定して、前記影響を補正するよう、前記可視域の画像情報の信号強度を補正し、前記補正の良否を評価し、その評価結果が否となった場合は、前記欠陥領域近傍の正常画素の値に基づいて前記可視域の画像欠陥領域の処理を行う画像処理実行手段とを備えることを特徴とする画像処理装置。
【請求項１２】
前記画像処理実行手段は、前記補正済みの可視域の画像情報と、前記補正前の可視域の画像情報とにおける、前記画像欠陥領域とその周辺領域とのそれぞれの代表値を比較して評価することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
画像原稿の少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理装置において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得手段と、
前記赤外域の画像情報の前記画像欠陥領域内のテクスチャ構造を評価し、該評価結果に基づいて前記可視域の画像情報の補正を行う画像処理実行手段とを備えることを特徴とする画像処理装置。
【請求項１４】
同一の前記可視域の画像情報に補正処理と補間処理とを行う場合に、前記画像処理実行手段は、まず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする請求項１１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
画像欠陥を画像情報から検出して、前記画像欠陥の補正処理及び／又は補間処理する画像処理を前記画像情報に行い、その処理済の画像情報に、鮮鋭性の調整と粒状性の調整と画像サイズの調整との内、少なくとも１つの後処理を実行する画像処理装置において、
前記画像情報を、前記補正処理及び／又は前記補間処理の対象となった第１の画素と、該第１の画素の近傍に位置し、前記補正及び／又は前記補間処理の対象とならなかった第２の画素と、前記第１の画素及び前記第２の画素のどちらにも属さない第３の画素とに分類し、その分類に関する分類情報に基づいて前記後処理を行う画像処理実行手段を備えることを特徴とする画像処理装置。
【請求項１６】
前記画像処理実行手段は、前記分類において、前記第１の画素は、前記補正処理の対象となった第１のグループと、前記補間処理の対象となった第２のグループとに分類され、前記分類情報と前記グループに関するグループ情報とに基づいて前記第１の画素に前記後処理を行うことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
画像欠陥を画像情報から検出して、前記画像欠陥の特性に応じた補正処理及び補間処理を用いて前記画像欠陥を除去する画像処理を行い、出力画像情報を得る画像処理装置において、
同一の画像情報にまず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行う画像処理実行手段を備えることを特徴とする画像処理装置。
【請求項１８】
前記画像処理実行手段は、前記画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、前記画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行うことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
画像原稿の、少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得し、前記赤外域の画像情報を用いて、画像欠陥領域を求め、該画像欠陥領域の影響を補償する補正値を求め、該補正値を可視信号に適用する際に用いる修正値を設定し、前記補正値及び前記修正値の積により修正補正値を得て、その修正補正値で前記可視域の画像情報を補正する画像処理を行い、出力画像情報を得る画像処理装置において、
前記画像欠陥領域内に存在する各注目画素について、前記注目画素を通る複数方向の線分のうち、前記画像欠陥領域内の長さが最も短い線分の長さを表す線分距離情報に基づいて前記修正値を設定する修正値設定手段を備えることを特徴とする画像処理装置。
【請求項２０】
前記画像欠陥領域の周囲に存在する画素を周辺領域と定義し、
前記修正値設定手段は、前記画像欠陥領域内に存在する各注目画素について、前記線分距離情報と、前記線分距離情報に対応する線分に重なる前記周辺領域内の画素群とを抽出し、可視域の画像情報の前記画素群及び前記注目画素から仮の可視画像補正値を求め、前記赤外域の補正値を前記可視画像補正値で除した除値を求め、該除値と、前記線分距離情報との関連をプロットし、該プロット結果から代表曲線を求め、該代表曲線に基づいて前記修正値を設定することを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
コンピュータに、画像原稿における少なくとも赤外域及び可視域の２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得機能と、
前記画像欠陥領域が前記可視域の画像情報に与える影響を推定して、前記影響を補正するよう、前記可視域の画像情報の信号強度を補正し、前記補正の良否を評価し、その評価結果が否となった場合は、前記欠陥領域近傍の正常画素の値に基づいて前記可視域の画像欠陥領域の処理を行う画像処理実行機能と、
を実現させるための画像処理プログラム。
【請求項２２】
前記画像処理実行機能は、前記補正済みの可視域の画像情報と、前記補正前の可視域の画像情報とにおける、前記画像欠陥領域とその周辺領域とのそれぞれの代表値を比較して評価することを特徴とする請求項２１に記載の画像処理プログラム。
【請求項２３】
コンピュータに、画像原稿の少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得機能と、
前記赤外域の画像情報の前記画像欠陥領域内のテクスチャ構造を評価し、該評価結果に基づいて前記可視域の画像情報の補正を行う画像処理実行機能と、
を実現させるための画像処理プログラム。
【請求項２４】
前記画像処理実行機能は、同一の前記可視域の画像情報に補正処理と補間処理とを行う場合に、まず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする請求項２１から２３のいずれか一項に記載の画像処理プログラム。
【請求項２５】
コンピュータに、画像欠陥を画像情報から検出して、前記画像欠陥の補正処理及び／又は補間処理する画像処理を前記画像情報に行い、その処理済の画像情報に、鮮鋭性の調整と粒状性の調整と画像サイズの調整との内、少なくとも１つの後処理を実行する機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記画像情報を、前記補正処理及び／又は前記補間処理の対象となった第１の画素と、該第１の画素の近傍に位置し、前記補正及び／又は前記補間処理の対象とならなかった第２の画素と、前記第１の画素及び前記第２の画素のどちらにも属さない第３の画素とに分類し、その分類に関する分類情報に基づいて前記後処理を行う画像処理実行機能を実現させるための画像処理プログラム。
【請求項２６】
前記画像処理実行機能は、前記第１の画素は、前記補正処理の対象となった第１のグループと、前記補間処理の対象となった第２のグループとに分類され、前記分類情報と前記グループに関するグループ情報とに基づいて前記第１の画素に前記後処理を行うことを特徴とする請求項２５に記載の画像処理プログラム。
【請求項２７】
コンピュータに、画像欠陥を画像情報から検出して、前記画像欠陥の特性に応じた補正処理及び補間処理を用いて前記画像欠陥を除去する画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
同一の画像情報にまず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行う画像処理実行機能を実現させるための画像処理プログラム。
【請求項２８】
前記画像処理実行機能は、前記画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、前記画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行うことを特徴とする請求項２７に記載の画像処理プログラム。
【請求項２９】
コンピュータに、画像原稿の、少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得し、前記赤外域の画像情報を用いて、画像欠陥領域を求め、該画像欠陥領域の影響を補償する補正値を求め、該補正値を可視信号に適用する際に用いる修正値を設定し、前記補正値及び前記修正値の積により修正補正値を得て、その修正補正値で前記可視域の画像情報を補正する画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記画像欠陥領域内に存在する各注目画素について、前記注目画素を通る複数方向の線分のうち、前記画像欠陥領域内の長さが最も短い線分の長さを表す線分距離情報に基づいて前記修正値を設定する修正値設定機能を実現させるための画像処理プログラム。
【請求項３０】
前記画像欠陥領域の周囲に存在する画素を周辺領域と定義し、
前記修正値設定機能は、前記画像欠陥領域内に存在する各注目画素について、前記線分距離情報と、前記線分距離情報に対応する線分に重なる前記周辺領域内の画素群とを抽出し、可視域の画像情報の前記画素群及び前記注目画素から仮の可視画像補正値を求め、前記赤外域の補正値を前記可視画像補正値で除した除値を求め、該除値と、前記線分距離情報との関連をプロットし、該プロット結果から代表曲線を求め、該代表曲線に基づいて前記修正値を設定することを特徴とする請求項２９に記載の画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、銀塩写真フィルムを用いて撮影、現像処理し、これをフィルムスキャナなどの画像読取装置で読み取り、画像データとして取得し、さまざまに利用するシステムが普及してきている。銀塩フィルムは非常に多くの情報量を有するため、これら画像読取装置は、微小な信号を確実に読み取る、非常に高い解像度を必要とする。
【０００３】
一方、写真フィルムはその取り扱いの容易さから、ＴＡＣ（トリアセチルセルロース）や、ＰＥＴ（ポリエチレンテレフタレート）などからなるフィルムベースに、おもにゼラチンをバインダーとした画像記録層が塗布されており、ゴミ、埃が付着しやすく、また、画像記録層、フィルムベースともに硬度が低いために傷つきやすい性質がある。
【０００４】
このため、写真フィルムの扱いは慎重に行う必要があり、多くの工数がかかっていた。また、前述のように、非常に高い解像度を有する画像読取装置を用いて取得した画像情報には、微細な傷、ゴミも記録されてしまうため、これらの修復には多大な労力を要していた。
【０００５】
これら状況に鑑み、いくつかの解決策が検討され、提案されてきた。その主なものは、現在の写真フィルムの主流であるカラーフィルムなど、色素画像で画像情報が形成される写真フィルムの特徴を利用し、赤外線を用いた手法（例えば、特許文献１参照）である。
【０００６】
これら手法の基本思想は、以下の考えに基づいている。画像情報は、前述の通り、色素画像で形成されているが、これら色素は、その性質上、可視の特定波長の電磁波は吸収するものの、波長の長い赤外光はほとんど吸収しない。一方、傷、ゴミは、それら自体は無色の場合が多いが、これらには光を強く散乱する性質があり、これらが、画像結像系の途中に入ると散乱光が生じ、その分、画像情報として得られる信号強度が減少することとなる。この、傷、ゴミの影響は、可視、赤外の区分にかかわらずほぼ一様に現れるもののため、赤外画像を観察すれば、傷、ゴミの位置、影響を識別できる、というものである。
【０００７】
もちろん、特許文献１に記されているように、実際には、画像情報を形成する色素、特にシアン色素、にも若干の赤外吸収があるため、カラーフィルムの色分解の手法と同様に、赤外画像の観察に先立って、これら色素の影響を減じる処理を行うのが普通である。
【０００８】
また、赤外画像を用いて傷、ゴミを検知して、画像を正常画素と、異常画素とに区分し、異常画素を、近傍の最も近い正常画素のグループから補間する手法があった（例えば、特許文献２参照）。本方式によれば、傷領域を周辺領域から補間して埋め合わせることができるため、傷、ゴミを画面から消去できるとしている。しかしながら、本方式によれば、異常画素とされた領域は、正常画素とされた領域の画素情報からの補間で求められるため、本来の画像情報量が大きく減少してしまうという、大きな副作用が伴っていた。
【０００９】
この問題点を解消するため、傷、ゴミの赤外線画像に与える影響を検知して、相当分の補正を可視画像に対して施し、さらに、前記影響が非常に大きい時には、特許文献２のような補間法で処理するという手法があった（例えば、特許文献３参照）。本手法によれば、傷、ゴミの存在する画素も、その影響が比較的軽微な箇所では、傷、ゴミの影響を補正する処理を行うので、補間法を用いる場合に比べ、画像情報量の減少が少ないとされている。
【００１０】
【特許文献１】
特公平６−５９１４号公報
【特許文献２】
特開昭６３−１２９４６９号公報
【特許文献３】
特許２５５９９７０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、特許文献３によれば傷、ゴミの与える影響の程度を主に赤外画像を用いて求めているため、以下のような問題点が発生する。
【００１２】
第１の問題点は、特許文献３の手法において傷、ゴミの影響が、可視と赤外とで一定の相関を持って現れると限定しているため、例えば、画像記録層に傷がつき、画像情報に軽い欠損が生じたような場合、赤外画像では、光線の散乱による信号強度の減少が大きく、信号が減少するが、可視画像では、可視光を吸収する画像記録層の欠損によって、信号強度が増加する場合があることである。特許文献３の手法では、このような場合に、逆の補正、すなわち、可視の信号強度を増加してしまうため、かえって、傷、ゴミの影響を増大してしまうというおそれがあった。
【００１３】
また、特許文献３の手法において、傷、ゴミの影響が、可視と赤外とで一定の相関を持って現れるとしているが、実際の光学レンズには色収差以外にも球面収差など、各種収差が発生している。さらには、レンズ界面の乱反射を減少するコーティング処理、フィルムベース上の傷そのものの散乱特性にも波長依存性があるため、ベース面の傷であっても、傷の影響に相関はあるものの、その相関比は一定とは限らない。そのため、傷、ゴミの補正に、過補正や補正不足が生じてしまう懸念がある。
【００１４】
第２の問題点は、傷、ゴミの位置を、正確に検出する必要があること、より詳しくは、可視画像と同一位置に検出する必要があることである。フィルムスキャナは、光学レンズによる結像をＣＣＤなどのセンサで受光して画像情報を得るが、光学レンズには色収差が存在するため、赤外画像〜可視画像まで、正確に同一位置に結像させることは非常に困難である。また、結像が実現できても、調整工数、コストの膨大なシステムになってしまうおそれがあった。このシステムの問題点に関しては、特許文献２の手法でも問題となり、赤外と可視との結像位置のずれが若干でもあれば、補間が不可能になるか、補正不具合が生じるおそれがあった。あるいは、補間処理をする領域に余裕を持てば、補間が必要な範囲が大きくなり、画像の欠損がさらに大きくなる不具合が発生するおそれがあった。
【００１５】
さらに、第３の問題点は、一般的に、傷、ゴミの影響を軽減する処理が終了後、様々な画像加工を実施するが、その際に、例えばエッジ強調を行った場合、補正部分の不自然さが強調されてしまう懸念があるが、この点に関し、前記従来の手法では特に有効な対応がなされていないことである。
【００１６】
本発明の目的は、画像情報から欠陥部分の影響を良好に除去することである。より詳細に述べると、第１の目的は、傷の可視画像情報に与える影響を適切に判断し、画像情報取得元のベース面と画像記録層とのどちらの傷に関しても、良好な補正結果を得ることである。また、第２の目的は、可視画像情報に対し十分な収差補正を行っていれば、赤外画像情報に関し、若干の残存収差や、可視画像情報との色ずれがあっても、可視画像情報の傷、ゴミの影響除去を良好に行うことである。さらに、第３の目的は、傷、ゴミの補正を実施した画像を、エッジ強調や、ノイズ除去、拡大、縮小処理する後加工を実施した際に、補正の影響を目立たせず、自然な画像処理結果を得ることである。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、画像原稿における少なくとも赤外域及び可視域の２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理方法において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得し、
前記画像欠陥領域が前記可視域の画像情報に与える影響を推定して、前記影響を補正するよう、前記可視域の画像情報の信号強度を補正し、
前記補正の良否を評価し、その評価結果が否となった場合は、前記欠陥領域近傍の正常画素の値に基づいて前記可視域の画像欠陥領域の処理を行うことを特徴とする。
画像欠陥とは、例えば、傷（損傷含む）、ゴミに起因する欠陥部分である。後述する画像欠陥領域とは、前記画像欠陥の領域である。
【００１８】
請求項１１に記載の発明は、画像原稿における少なくとも赤外域及び可視域の２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理装置において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得手段と、
前記画像欠陥領域が前記可視域の画像情報に与える影響を推定して、前記影響を補正するよう、前記可視域の画像情報の信号強度を補正し、前記補正の良否を評価し、その評価結果が否となった場合は、前記欠陥領域近傍の正常画素の値に基づいて前記可視域の画像欠陥領域の処理を行う画像処理実行手段とを備えることを特徴とする。
【００１９】
請求項２１に記載の発明は、コンピュータに、画像原稿における少なくとも赤外域及び可視域の２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得機能と、
前記画像欠陥領域が前記可視域の画像情報に与える影響を推定して、前記影響を補正するよう、前記可視域の画像情報の信号強度を補正し、前記補正の良否を評価し、その評価結果が否となった場合は、前記欠陥領域近傍の正常画素の値に基づいて前記可視域の画像欠陥領域の処理を行う画像処理実行機能と、
を実現させることを特徴とする。
【００２０】
請求項１、１１又は２１に記載の発明によれば、赤外域の画像情報を用いて画像欠陥領域を取得し、可視域の画像情報への画像欠陥領域の影響を補正し、その補正の良否を評価し、その評価結果に応じて、可視域の画像欠陥領域の処理を行う。このため、例えば画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合や、赤外域と可視域との画像情報の若干のずれが、画面の一部分で発生している不具合にも、その不具合が発生した画像領域の補正結果を評価することができるので、その画像領域に応じた処理を選択して実行することにより、有効に対処できる。
【００２１】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、
前記評価において、前記補正済みの可視域の画像情報と、前記補正前の可視域の画像情報とにおける、前記画像欠陥領域とその周辺領域とのそれぞれの代表値を比較して評価することを特徴とする。
【００２２】
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、
前記画像処理実行手段は、前記補正済みの可視域の画像情報と、前記補正前の可視域の画像情報とにおける、前記画像欠陥領域とその周辺領域とのそれぞれの代表値を比較して評価することを特徴とする。
【００２３】
請求項２２に記載の発明は、請求項２１に記載の画像処理プログラムにおいて、
前記画像処理実行機能は、前記補正済みの可視域の画像情報と、前記補正前の可視域の画像情報とにおける、前記画像欠陥領域とその周辺領域とのそれぞれの代表値を比較して評価することを特徴とする。
【００２４】
請求項２、１２又は２２に記載の発明によれば、補正済みと補正前との可視域の画像情報における、画像欠陥領域とその周辺領域との代表値を比較して補正結果が評価されるので、補正結果の評価が簡単な手法で良好に実施できる。
【００２５】
請求項３に記載の発明は、画像原稿の少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理方法において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得し、
前記赤外域の画像情報の前記画像欠陥領域内のテクスチャ構造を評価し、該評価結果に基づいて前記可視域の画像情報の補正を行うことを特徴とする。
【００２６】
請求項１３に記載の発明は、画像原稿の少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る画像処理装置において、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得手段と、
前記赤外域の画像情報の前記画像欠陥領域内のテクスチャ構造を評価し、該評価結果に基づいて前記可視域の画像情報の補正を行う画像処理実行手段とを備えることを特徴とする。
【００２７】
請求項２３に記載の発明は、コンピュータに、画像原稿の少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得して画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記赤外域の画像情報を用いて、画像欠陥領域を取得する画像欠陥領域取得機能と、
前記赤外域の画像情報の前記画像欠陥領域内のテクスチャ構造を評価し、該評価結果に基づいて前記可視域の画像情報の補正を行う画像処理実行機能と、
を実現させることを特徴とする。
【００２８】
請求項３、１３又は２３に記載の発明によれば、赤外域の画像情報の画像欠陥領域内のテクスチャ構造の特徴に応じて、可視域の画像情報に対して好ましい補正方法を選択して実行できる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合や、赤外域と可視域との画像情報の若干のずれが、画面の一部分で発生している不具合にも、好ましい補正を選択して実行し、有効に対処できる。また、赤外域の画像情報の残存収差や、赤外域と可視域との画像情報の間に色ずれが存在してもこれに対応した良好な画像処理が可能になる。
【００２９】
請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理方法において、
同一の前記可視域の画像情報に補正処理と補間処理とを行う場合に、まず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする。
【００３０】
請求項１４に記載の発明は、請求項１１から１３のいずれか一項に記載の画像処理装置において、
同一の前記可視域の画像情報に補正処理と補間処理とを行う場合に、前記画像処理実行手段は、まず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする。
【００３１】
請求項２４に記載の発明は、請求項２１から２３のいずれか一項に記載の画像処理プログラムにおいて、
前記画像処理実行機能は、同一の前記可視域の画像情報に補正処理と補間処理とを行う場合に、まず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする。
【００３２】
請求項４、１４又は２４に記載の発明によれば、補間処理に用いることのできる周辺画像情報としての正常画素を補正処理により最大限に増やすことができるので、より確実な補間処理を実行して補間結果を得ることができる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも有効に対処でき、さらに、補正した正常画素も用いて補間を行うから、精度の高い画像処理結果が得られる。
【００３３】
請求項５に記載の発明は、画像欠陥を画像情報から検出して、前記画像欠陥の補正処理及び／又は補間処理する画像処理を前記画像情報に行い、その処理済の画像情報に、鮮鋭性の調整と粒状性の調整と画像サイズの調整との内、少なくとも１つの後処理を実行する画像処理方法において、
前記画像情報を、前記補正処理及び／又は前記補間処理の対象となった第１の画素と、該第１の画素の近傍に位置し、前記補正及び／又は前記補間処理の対象とならなかった第２の画素と、前記第１の画素及び前記第２の画素のどちらにも属さない第３の画素とに分類し、その分類に関する分類情報に基づいて前記後処理を行うことを特徴とする。
【００３４】
請求項１５に記載の発明は、画像欠陥を画像情報から検出して、前記画像欠陥の補正処理及び／又は補間処理する画像処理を前記画像情報に行い、その処理済の画像情報に、鮮鋭性の調整と粒状性の調整と画像サイズの調整との内、少なくとも１つの後処理を実行する画像処理装置において、
前記画像情報を、前記補正処理及び／又は前記補間処理の対象となった第１の画素と、該第１の画素の近傍に位置し、前記補正及び／又は前記補間処理の対象とならなかった第２の画素と、前記第１の画素及び前記第２の画素のどちらにも属さない第３の画素とに分類し、その分類に関する分類情報に基づいて前記後処理を行う画像処理実行手段を備えることを特徴とする。
【００３５】
請求項２５に記載の発明は、コンピュータに、画像欠陥を画像情報から検出して、前記画像欠陥の補正処理及び／又は補間処理する画像処理を前記画像情報に行い、その処理済の画像情報に、鮮鋭性の調整と粒状性の調整と画像サイズの調整との内、少なくとも１つの後処理を実行する機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記画像情報を、前記補正処理及び／又は前記補間処理の対象となった第１の画素と、該第１の画素の近傍に位置し、前記補正及び／又は前記補間処理の対象とならなかった第２の画素と、前記第１の画素及び前記第２の画素のどちらにも属さない第３の画素とに分類し、その分類に関する分類情報に基づいて前記後処理を行う画像処理実行機能を実現させることを特徴とする。
【００３６】
請求項５、１５又は２５に記載の発明によれば、補正及び／又は補間した第１の画素の属する領域と補正及び／又は補間していない第２の画素の属する領域と第３の画素の属する領域との分類情報に応じて、各種行われる後処理を切り替えて実行するので、欠陥画素の補正の痕が残りにくい、より自然な画像処理結果が得られる。
【００３７】
請求項６に記載の発明は、請求項５に記載の画像処理方法において、
前記分類において、前記第１の画素は、前記補正処理の対象となった第１のグループと、前記補間処理の対象となった第２のグループとに分類され、前記分類情報と前記グループに関するグループ情報とに基づいて前記第１の画素に前記後処理を行うことを特徴とする。
【００３８】
請求項１６に記載の発明は、請求項１５に記載の画像処理装置において、
前記画像処理実行手段は、前記分類において、前記第１の画素は、前記補正処理の対象となった第１のグループと、前記補間処理の対象となった第２のグループとに分類され、前記分類情報と前記グループに関するグループ情報とに基づいて前記第１の画素に前記後処理を行うことを特徴とする。
【００３９】
請求項２６に記載の発明は、請求項２５に記載の画像処理プログラムにおいて、
前記画像処理実行機能は、前記第１の画素は、前記補正処理の対象となった第１のグループと、前記補間処理の対象となった第２のグループとに分類され、前記分類情報と前記グループに関するグループ情報とに基づいて前記第１の画素に前記後処理を行うことを特徴とする。
【００４０】
請求項６、１６又は２６に記載の発明によれば、分類情報に加えて、第１の画素の画像領域の補正対象の第１のグループと補間対象の第２のグループとのグループ情報に応じて、各種行われる後処理を切り替えて第１の画素に実行するので、補正の痕が残りにくい、さらに自然な画像処理結果が得られる。
【００４１】
請求項７に記載の発明は、画像欠陥を画像情報から検出して、前記画像欠陥の特性に応じた補正処理及び補間処理により前記画像欠陥を除去する画像処理を行い、出力画像情報を得る画像処理方法において、
同一の画像情報にまず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行うことを特徴とする。
【００４２】
請求項１７に記載の発明は、画像欠陥を画像情報から検出して、前記画像欠陥の特性に応じた補正処理及び補間処理を用いて前記画像欠陥を除去する画像処理を行い、出力画像情報を得る画像処理装置において、
同一の画像情報にまず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行う画像処理実行手段を備えることを特徴とする。
【００４３】
請求項２７に記載の発明は、コンピュータに、画像欠陥を画像情報から検出して、前記画像欠陥の特性に応じた補正処理及び補間処理を用いて前記画像欠陥を除去する画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
同一の画像情報にまず前記補正処理を行い、補正の終了した領域を正常画素として、次に前記補間処理を行う画像処理実行機能を実現させることを特徴とする。
【００４４】
請求項７、１７又は２７に記載の発明によれば、補間処理に用いることのできる周辺画像情報としての正常画素を補正処理により最大限に増やすことができるので、より確実な補間処理を実行して補間結果を得ることができる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも有効に対処できる。さらに、補正した正常画素も用いて補間を行うから、精度の高い画像処理結果が得られる。
【００４５】
請求項８に記載の発明は、請求項７に記載の画像処理方法において、
前記補間処理による画像処理において、前記画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、前記画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行うことを特徴とする。
【００４６】
請求項１８に記載の発明は、請求項１７に記載の画像処理装置において、
前記画像処理実行手段は、前記画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、前記画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行うことを特徴とする。
【００４７】
請求項２８に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、
前記画像処理実行機能は、前記画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、前記画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行うことを特徴とする。
【００４８】
請求項８、１８又は２８に記載の発明によれば、画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理するので、例えば、可能な範囲でエッジなどの画像構造に関する情報が復元でき、補間処理に用いるアルゴリズムがより効果的に機能し、さらにより確実な補間処理を実行して補間結果を得ることができる。
【００４９】
請求項９に記載の発明は、画像原稿の、少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得し、前記赤外域の画像情報を用いて、画像欠陥領域を求め、該画像欠陥領域の影響を補償する補正値を求め、該補正値を可視信号に適用する際に用いる修正値を設定し、前記補正値及び前記修正値の積により修正補正値を得て、その修正補正値で前記可視域の画像情報を補正する画像処理を行い、出力画像情報を得る画像処理方法において、
前記修正値の設定において、前記画像欠陥領域内に存在する各注目画素について、前記注目画素を通る複数方向の線分のうち、前記画像欠陥領域内の長さが最も短い線分の長さを表す線分距離情報に基づいて前記修正値を設定することを特徴とする。
【００５０】
請求項１９に記載の発明は、画像原稿の、少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得し、前記赤外域の画像情報を用いて、画像欠陥領域を求め、該画像欠陥領域の影響を補償する補正値を求め、該補正値を可視信号に適用する際に用いる修正値を設定し、前記補正値及び前記修正値の積により修正補正値を得て、その修正補正値で前記可視域の画像情報を補正する画像処理を行い、出力画像情報を得る画像処理装置において、
前記画像欠陥領域内に存在する各注目画素について、前記注目画素を通る複数方向の線分のうち、前記画像欠陥領域内の長さが最も短い線分の長さを表す線分距離情報に基づいて前記修正値を設定する修正値設定手段を備えることを特徴とする。
【００５１】
請求項２９に記載の発明は、コンピュータに、画像原稿の、少なくとも赤外域と可視域との２種の波長帯域に関する画像情報を取得し、前記赤外域の画像情報を用いて、画像欠陥領域を求め、該画像欠陥領域の影響を補償する補正値を求め、該補正値を可視信号に適用する際に用いる修正値を設定し、前記補正値及び前記修正値の積により修正補正値を得て、その修正補正値で前記可視域の画像情報を補正する画像処理を行い、出力画像情報を得る機能を実現させるための画像処理プログラムにおいて、
前記コンピュータに、
前記画像欠陥領域内に存在する各注目画素について、前記注目画素を通る複数方向の線分のうち、前記画像欠陥領域内の長さが最も短い線分の長さを表す線分距離情報に基づいて前記修正値を設定する修正値設定機能を実現させることを特徴とする。
【００５２】
請求項９、１９又は２９に記載の発明によれば、画像欠陥領域の影響の大きさを、注目画素を通る最短線分に応じて評価し、その評価結果に基づき可視域の画像情報を修正補正するので、通常想定される画像情報（正常画素数＞＞異常画素数）において、注目画素に与える画像欠陥領域の影響の大きさを正しく評価して、その評価結果に応じた修正値に基づいて補正することができる。したがって、赤外域の画像情報に残存収差やフレア成分が残っていたとしても、これらが赤外域の画像情報に及ぼす影響を補償し、好ましい画像処理が実現できる。
【００５３】
請求項１０に記載の発明は、請求項９に記載の画像処理方法において、
前記画像欠陥領域の周囲に存在する画素を周辺領域と定義し、
前記修正値の設定において、
前記画像欠陥領域内に存在する各注目画素について、前記線分距離情報と、前記線分距離情報に対応する線分に重なる前記周辺領域内の画素群とを抽出し、可視域の画像情報の前記画素群及び前記注目画素から仮の可視画像補正値を求め、
前記赤外域の補正値を前記可視画像補正値で除した除値を求め、該除値と、前記線分距離情報との関連をプロットし、該プロット結果から代表曲線を求め、該代表曲線に基づいて前記修正値を設定することを特徴とする。
【００５４】
請求項２０に記載の発明は、請求項１９に記載の画像処理装置において、
前記画像欠陥領域の周囲に存在する画素を周辺領域と定義し、
前記修正値設定手段は、前記画像欠陥領域内に存在する各注目画素について、前記線分距離情報と、前記線分距離情報に対応する線分に重なる前記周辺領域内の画素群とを抽出し、可視域の画像情報の前記画素群及び前記注目画素から仮の可視画像補正値を求め、前記赤外域の補正値を前記可視画像補正値で除した除値を求め、該除値と、前記線分距離情報との関連をプロットし、該プロット結果から代表曲線を求め、該代表曲線に基づいて前記修正値を設定することを特徴とする。
【００５５】
請求項３０に記載の発明は、請求項２９に記載の画像処理プログラムにおいて、
前記画像欠陥領域の周囲に存在する画素を周辺領域と定義し、
前記修正値設定機能は、前記画像欠陥領域内に存在する各注目画素について、前記線分距離情報と、前記線分距離情報に対応する線分に重なる前記周辺領域内の画素群とを抽出し、可視域の画像情報の前記画素群及び前記注目画素から仮の可視画像補正値を求め、前記赤外域の補正値を前記可視画像補正値で除した除値を求め、該除値と、前記線分距離情報との関連をプロットし、該プロット結果から代表曲線を求め、該代表曲線に基づいて前記修正値を設定することを特徴とする。
【００５６】
請求項１０、２０又は３０に記載の発明によれば、可視域の画像情報から仮の可視画像補正値を求め、赤外域の補正値の可視画像補正値による除値と線分距離情報との関係を示す代表曲線を取得する。このため、代表曲線を用いて線分距離情報により修正値を決定し、その修正値と赤外域の補正値とを用いて可視域の画像情報を補正でき、未知の画像情報取得元に関しても安定した傷、ゴミ除去効果が得られる。
【００５７】
【発明の実施の形態】
以下、添付図を参照して本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【００５８】
先ず、図１及び図２を参照して、本実施の形態の装置の特徴を説明する。図１は、本実施の形態の画像処理システム１０を示すブロック図である。図２は、図１の透過原稿スキャナ１４２の構成を示す図である。
【００５９】
図１に示すように、本実施の形態のデジタルミニラボシステムなどの画像処理システム１０は、画像処理部１１と、画像表示部１２と、指示入力部１３と、画像取得部１４と、画像ストレージ部１５と、銀塩露光プリンタ１６と、ＩＪ（インクジェット）プリンタ１７と、各種画像記録メディア書込部１８とを備えて構成される。
【００６０】
画像処理部１１は、指示入力部１３において入力された各種指示情報に基づいて、画像取得部１４により取得された各種画像情報及び／又は画像ストレージ部１５に記憶された画像情報を画像処理して、画像ストレージ部１５、銀塩露光プリンタ１６、ＩＪプリンタ１７及び各種画像記録メディア書込部１８に出力する。さらに、画像処理部１１は、画像情報を画像表示部１２に出力する。
【００６１】
画像取得部１４は、写真プリント、印刷物、書画などの印刷物２１に記録された画像をスキャンして画像情報を取得する反射原稿スキャナ１４１と、ネガフィルム、ポジフィルムなどの現像済みフィルム２２に記録された画像をスキャンして画像情報を取得する透過原稿スキャナ１４２と、ＤＳＣ（デジタルスチルカメラ）や、ＣＤ−Ｒや、画像メモリカードなどの画像メディア２３に記録された画像情報を読み出して取得するメディアドライバ１４３と、インターネット、ＬＡＮなどの通信手段２４から画像情報を受信して取得し、また画像ストレージ部１５に記憶された画像情報を受信して取得する情報通信Ｉ／Ｆ１４４とを備えて構成される。各取得部１４１〜１４４から入力された入力画像情報は、画像処理部１１に出力される。
【００６２】
画像表示部１２は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）又はＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｔ）ディスプレイなどにより構成され、画像処理部１１から出力される表示指示に従って各種表示データの画面表示を行う。
【００６３】
指示入力部１３は、画像表示部１２に設けられ、操作者により接触入力された接触信号及びその画面上の位置情報を取得して画像処理部１１に出力するタッチパネルとしての接触センサ１３１と、操作者に入力された位置信号及び選択信号を取得して画像処理部１１に出力するマウス１３２と、カーソルキー、数字入力キー及び各種機能キーなどを備え、操作者により各キーに押下入力された押下信号を取得して画像処理部１１に出力するキーボード１３３とを備えて構成される。
【００６４】
画像ストレージ部１５は、ＨＤＤ（ハードディスクドライブ）などから構成され、画像情報を読み書き可能に記憶する。銀塩露光プリンタ１６は、銀塩露光方式で画像情報を画像として写真印画紙やフィルムなどに印刷する。ＩＪプリンタ１６は、インクジェット方式で画像情報を画像として記録紙などに印刷する。各種画像記録メディア書込部１８は、画像情報を、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、画像メモリカードなどの画像記録メディアに書き込み記録する。
【００６５】
画像処理部１１では、後述する各種手法を用いて、原稿が傷ついたり、ゴミが付着した画像の補修を行う傷ゴミ処理を行う。画像処理部１１において、傷ゴミ処理により傷、ゴミが補修された出力画像情報が各種出力先（画像ストレージ部１５、銀塩露光プリンタ１６、ＩＪプリンタ１７、各種画像記録メディア書込部１８のうちの少なくとも一つ）に応じて色変換され、その出力先に送信される。銀塩露光プリンタ１６、ＩＪプリンタ１７は、画像処理部１１から受信した出力画像情報を印刷する。各種画像記録メディア書込部１８は、画像処理部１１から受信した出力画像情報を各種画像記録メディアに書き込む。画像ストレージ部１５は、画像処理部１１から受信した出力画像情報を記憶する。画像ストレージ部１５に記憶された画像情報は、蓄積され、画像ソースとして画像処理部１１の読み出しにより再利用可能である。
【００６６】
なお、画像処理システム１０の構成は、画像処理部１１に特徴を有するものであり、画像取得部１４、画像表示部１２、指示入力部１３、銀塩露光プリンタ１６、ＩＪプリンタ１７、各種画像記録メディア書込部１８の構成部分の種類及び数は図１の例に限定されるものではない。
【００６７】
次に、図２を参照して、画像処理システム１０の画像取得部１４内の透過原稿スキャナ１４１の構成を説明する。透過原稿スキャナ１４１は、透過画像のスキャン用の光を出射する光源部３１と、光源部３１から出射された光を均一化（むらのない光に）して出射する拡散部材３２と、フィルムＡを２次元方向に搬送するローラ３４によりフィルムＡを矢印方向に搬送するフィルムキャリア３３と、フィルムＡを通過した光線を結像させるための光学レンズ３５とを備える。光源部３１、拡散部材３２から出射される光はライン状の光であり、そのライン状の光とフィルムＡの搬送とにより、フィルムＡ上の画像に対応する光が透過される。
【００６８】
また、透過原稿スキャナ１４１は、ダイクロイックフィルタ３６ＩＲ，３６Ｂ，３６Ｒと、ラインＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：結合荷電素子）３７ＩＲ，３７Ｂ，３７Ｇ，３７Ｒと、アナログアンプ３８ＩＲ，３８Ｂ，３８Ｇ，３８Ｒと、Ａ／Ｄコンバータ３９ＩＲ，３９Ｂ，３９Ｇ，３９Ｒと、画像メモリ４０とを備えて構成される。
光学レンズ３５から出射された光線は、ダイクロイックフィルタ３６ＩＲ，３６Ｂ，３６Ｒで分光され、赤外域と可視域との青（Ｂ）、緑（Ｇ）、赤（Ｒ）のそれぞれの色光に対応したラインＣＣＤ３７ＩＲ，３７Ｂ，３７Ｇ，３７Ｒに結像して受光され、電気信号へと変換される。電気信号は、アナログアンプ３８ＩＲ，３８Ｂ，３８Ｇ，３８Ｒで増幅され、Ａ／Ｄコンバータ３９ＩＲ，３９Ｂ，３９Ｇ，３９Ｒでデジタル信号へと変換され、画像メモリ４０に蓄えられ、利用される。前述のラインＣＣＤは、フィルムＡの搬送方向に直行して配置されており、ラインＣＣＤの並びが主走査であり、前述のフィルム搬送が副走査である。
【００６９】
ダイクロイックフィルタ３６ＩＲ，３６Ｂ，３６Ｒにより反射されずに透過した緑（グリーン：Ｇ）色域の光は、ラインＣＣＤ３７Ｇに結像及び受光される。赤外域に対応する画像情報は非可視画像であり、青色域、緑色域、赤色域に対応する画像情報は可視画像情報であるとする。つまり、可視画像情報は、青色域、緑色域、赤色域の各信号（Ｒ画像情報、Ｇ画像情報、Ｂ画像情報）が組み合わされた画像情報である。
【００７０】
次に、図３〜図２７を参照して、画像処理システム１０の動作を説明する。図３は、画像処理を示すフローチャートである。先ず、図３を参照して画像処理システム１０の画像処理部１１において実行される画像処理を説明する。
【００７１】
例えば、画像処理部１１に、図示しないＣＰＵ、ＲＡＭ及び記憶部が設けられ、記憶部に記憶された画像処理プログラムが読み出されてＲＡＭに格納し、ＣＰＵとＲＡＭ内の画像処理プログラムとの協働により、画像処理が実行される。画像処理部１１における処理の実行構成は、以下で述べる各処理の実行構成においても同様であるものとする。この構成において、画像処理部１１は、画像欠陥領域取得手段、画像処理実行手段及び修正値設定手段の設定手段としての機能を有する。
【００７２】
予め、画像取得部１４において各種画像情報が取得され（以下、取得画像情報とする）、取得画像情報が画像処理部１１に入力されているものとする。画像処理は、取得画像情報の可視画像情報に所定の処理を加え、出力画像情報として各出力部１５〜１８に出力する処理である。以下、特に言及しない場合には、処理の主体が画像処理部１１であるものとする。
【００７３】
先ず、取得画像情報に入力色変換がなされ、後述する傷ゴミ処理が実行される（ステップＳ１）。入力色変換は、画像取得部１４の各取得部１４１〜１４４の入力属性に応じた色変換であり、例えば、フィルム透過光量をセンサ（ＣＣＤ）が受け取り、デジタル信号化した信号値を視覚信号値や、光学濃度など、画像信号として意味のある単位系へと変換する機能や、各々の分光特性に応じて表現されている色調を標準的な色空間に整合させる処理を含む。傷ゴミ処理は、取得画像情報の可視画像情報から欠陥画素の原因となる画像情報取得元（フィルムなど）上の傷、ゴミの影響を取り除く処理である。また、傷、ゴミに起因する取得画像情報上の領域を傷ゴミ領域とする。
【００７４】
そして、傷ゴミ処理された可視画像情報の色、明るさが適切となるような指示が指示入力部１３から入力されて、色、明るさ調整がなされる（ステップＳ２）。色、明るさ調整がされた可視画像情報が画像表示部１２に表示され、オペレータによりその画像情報が目視で参照され、オペレータにより、色、明るさが適切であるか否かの評価が指示入力部１３から入力される（ステップＳ３）。
【００７５】
そして、入力された評価がＯＫであるか否かが判別される（ステップＳ４）。評価がＮＧである場合（ステップＳ４；ＮＯ）、ステップＳ２に移行される。再度、オペレータにより色、明るさが調整入力される。評価がＯＫである場合（ステップＳ４；ＹＥＳ）、ステップＳ１の傷ゴミ処理において出力される情報である傷ゴミ処理情報に基づいて、必要に応じ、色、明るさ調整済みの可視画像情報が所望の大きさに拡大又は縮小される拡大縮小処理がなされる（ステップＳ５）。その拡大縮小処理された可視画像情報は、ノイズが除去されるノイズ除去処理がなされる（ステップＳ６）。そのノイズ除去された可視画像情報は、傷ゴミ処理情報に基づいて、鮮鋭性及び粒状性が適切に補正される鮮鋭性粒状性補正処理がなされる（ステップＳ７）。ステップＳ５〜Ｓ７の各ステップの画像処理においては、後述のように、ステップＳ１から得られる傷ゴミ処理の情報を副情報として用いることができる。
【００７６】
そして、鮮鋭性粒状性処理がなされた可視画像情報は、回転処理や、画像フレームなど、各種画像屁のはめ込み合成処理、文字入れ処理などの各種加工がなされる（ステップＳ８）。
【００７７】
そして、その各種加工がなされた可視画像情報に、出力色変換がなされる。出力色変換は、各出力部１５〜１８の出力属性に対応する色空間に整合させる処理を含む。その出力色変換がなされた可視画像情報は、各出力部１５〜１８のうちの少なくとも一つに出力され（ステップＳ９）、画像処理が終了される。出力色変換がなされた画像情報は、画像ストレージ部１５による記憶、銀塩露光プリンタ１６による感光材料（印画紙など）への記録、ＩＪプリンタ１７による記録紙などへの記録、各種画像記録メディア書込部１８による各種画像記録メディアへの記録が行われる。また、ステップＳ５の拡大縮小処理と、ステップＳ７の鮮鋭性粒状性補正処理との詳細は後述する。
【００７８】
次に、図４及び図５を参照して、図３の画像処理のステップＳ１の傷ゴミ処理を説明する。図４は、傷ゴミ処理を示すフローチャートである。図５は、各波長域の信号の吸収を示す図である。
【００７９】
先ず、取得画像情報中の可視画像を示す可視画像情報と、赤外画像を示す赤外画像情報とが取得される（ステップＳ１１）。そして、赤外画像情報がマスキング処理により補正される（ステップＳ１２）。
【００８０】
図５は、赤外画像情報により、傷、ゴミ情報が抽出される理論を簡単に図式化したものである。画像を構成する色素は、それぞれ異なった光の吸収性を持ち、それがＢ信号、Ｇ信号、Ｒ信号として受信される。しかし、赤外線に関しては、Ｃ色素の若干の吸収を除き、ほとんど吸収を示さない。一方、傷、ゴミは、可視、赤外ともに吸収又は分散特性を有するため、赤外画像情報を観察することで、傷、ゴミの存在位置を検知することができる。右端の「損傷」は、傷の中でも画像情報担体そのものに影響を与え、一部画像情報が欠損した状況をあらわしたものである。右端の「損傷」の例では、傷が与える赤外信号への影響と、可視信号の影響の相関（大小変化）関係が、「傷、ゴミ」の場合とは変化している。この傷は、従来の技術で述べた特許文献３の手法を用いると逆補正となる危険があるが、図４に示すとおり（後述）、本実施の形態では修正結果の評価を行うため、逆補正の発生を検知し、補間処理に移行することができる。
【００８１】
上述の通り、ＩＲ光は、傷、ゴミ又は損傷部分に大きく吸収されるが、Ｃ色素にも若干吸収される。このため、傷、ゴミ及び損傷部分のみを抽出するために、ステップＳ１２において、Ｃ色素における吸収成分をマスキング処理で除去し、さらに、ＩＲ信号の赤外基準画像情報としての赤外基準データが差し引かれて、傷、ゴミ及び損傷部分のみを示す赤外差分データが算出されて、傷、ゴミ及び損傷部分の位置が特定される。以下、特にことわらない限り、「傷、ゴミ」は「傷、ゴミ及び損傷」を示すものとする。
【００８２】
そして、マスキング処理された赤外画像情報（に関する赤外差分データ）に基づいて、赤外画像情報の傷ゴミ領域が検出され、その赤外画像情報の傷ゴミ領域に基づいて可視画像情報における傷ゴミ候補領域が検出される（ステップＳ１３）。次いで、その可視画像情報における傷ゴミ候補領域から、可視画像情報における傷ゴミ領域が決定される（ステップＳ１４）。その傷ゴミ領域に基づいて、可視画像情報に傷ゴミ補正処理がなされる（ステップＳ１５）。その傷ゴミ補正処理の補正結果が自動的に評価される（ステップＳ１６）。
【００８３】
そして、評価結果に基づいて、傷ゴミ処理の補正結果が適切であるか否かが判別される（ステップＳ１７）。評価がＯＫである場合（ステップＳ１７；ＹＥＳ）、傷ゴミ処理は終了される。評価がＮＧである場合（ステップＳ１７；ＮＯ）、傷ゴミ補正処理がなされた画像情報に対して傷ゴミ補間処理がなされ（ステップＳ１８）、傷ゴミ処理は終了される。傷ゴミ処理の終了後、次のステップ（図３のステップＳ２）に移行される。
【００８４】
ここで、ステップＳ１５の傷ゴミ補正処理と、ステップＳ１８の傷ゴミ補間処理との違いを説明する。傷ゴミ処理の方法には、大きく分けて、２つの手法が一般に知られている。一つは、傷、ゴミの影響を受けて信号が減衰などの影響を受けており、この影響分を補正するものであり、本実施の形態ではこれを補正処理とする。もう一つは、傷、ゴミの影響を受けて画像情報が欠損した領域を、周囲の情報を利用して復元を試みるものであり、本実施の形態ではこれを補間処理とする。
【００８５】
次に、図６を参照して、図４の傷ゴミ処理中のステップＳ１１〜Ｓ１３に対応する傷ゴミ候補領域検出処理を説明する。図６は、傷ゴミ候補領域検出処理を示すフローチャートである。先ず、ステップＳ１３１はステップＳ１１と同様である。そして、赤外画像情報が補正される（ステップＳ１３２）。ここで、ステップＳ１３２を詳説する。
【００８６】
赤外画像情報の各データ（信号値）と、可視画像情報中の各赤色データとの画像相関が計算される（ステップＳ１３３）。そして、赤外画像情報からＣ色素に対応する赤色成分を除去するための補正定数が算出される（ステップＳ１３４）。そして、その補正定数が赤色画像情報にかけられ、その積が、赤外画像情報から差し引かれる（ステップＳ１３５）。このようにして、赤外画像情報から赤色成分が除去され、傷、ゴミの影響のみが現れた赤外画像情報が得られる。
【００８７】
そして、ステップＳ１３２の後、赤外画像情報において色素、傷などの吸収がない場合の信号値としての赤外基準データが作成される（ステップＳ１３６）。そして、ステップＳ１３２（Ｓ１３５）から得られた赤外補正後の赤外画像情報から、赤外基準データが差し引かれ、傷、ゴミ成分のみの信号値である赤外差分データが作成される（ステップＳ１３７）。
【００８８】
そして、適切な閾値が決定され、その閾値に基づいて赤外差分データが２値化される（ステップＳ１３８）。その２値化された赤外差分データは、ノイズ処理される（ステップＳ１３９）。ノイズ処理では、例えば平滑化フィルタを用い、平滑化後、信号値を再２値化すればよい。
【００８９】
ここで、そのノイズ処理、鮮鋭性補正に用いる代表的な空間周波数帯域フィルタの一例について、簡単に説明する。
【００９０】
先ず、画像情報の番号付けを、次の表１に示すように行う。表１は、画像情報の各画素の信号値及びその画素の位置関係を示す表である。
【表１】
2004318693.tif 000003
【００９１】
（鮮鋭性強調、あるいは平滑化フィルタ）
鮮鋭性強調、あるいは平滑化フィルタの場合、中央部５＊５画素の情報を用いて、下記の計算結果を得る。
2004318693.tif 000004
但し、ｆｉｌｄａｔ［１］〜［７］は、所定の定数である。
【００９２】
そして、ＦＰ１に、下記の制限を設ける。
2004318693.tif 000005
【００９３】
そして、下記の式により、新たな中央画素値、ｐ５５’を得る
ｐ５５’＝ｐ５５＋ＦＰ１
【００９４】
この処理例は、銀塩フィルムからの画像処理で特に好ましい処理例で、５＊５画素のエッジ強調フィルタの実施例である。ｄｉｖｄａｔを大きくすることによって鮮鋭性強調フィルタの効きが弱くなり、小さくすることによって、鮮鋭性強調フィルタの効きが強くなる。上側制限値、下側制限値を小さく設定すると、ごま塩（独立点の）ノイズが極端に強調される不具合を軽減し、滑らかな調子再現が得られ、制限値を大きく又は制限を設けなければ、自然なエッジ強調効果が得られる。
【００９５】
また、ｆｉｌｄａｔの値を変えることにより、平滑化フィルタとしても機能する。閾値の設定が必要ない場合は、下記の式が利用可能で、平滑化フィルタが簡単に設計できる。
【００９６】
中央部５＊５画素の情報を用いて、下記の計算結果を得、新たな中央画素値、ｐ５５’を得る。
2004318693.tif 000006
但し、ｆｉｌｄａｔ［１］〜［７］は、所定の定数である。
これら各種パラメータを補正量として定義することができ、目的に応じ、領域ごとに変更可能でである。
【００９７】
（バンドカットフィルタ）
バンドカットフィルタの場合、９＊９画素の画像を用いて、下記の計算結果を得る。
2004318693.tif 000007
【００９８】
そして、ＦＰ２に下記の制限を設ける。
2004318693.tif 000008
そして、下記の式で、新たな中央画素値、ｐ５５’を得る
ｐ５５’  ＝  ｐ５５  ＋  ＦＰ２
【００９９】
この処理例は、９＊９画素の、バンドカットフィルタの実施例である。閾値２を大きくすると、ターゲットとなる空間周波数帯域の信号除去効果が大きくなり、信号の低周波変動が強く押さえられます。これら各種パラメータを補正量として定義することができ、また、周辺データの参照範囲を変えて特性の調整ができ、領域ごと、あるいは機種ごとに変更可能である。
【０１００】
（ノイズ補正）
ノイズ補正において、画像の番号付けを、下記の表２に示すように行う。表２は、画像情報の画素の信号値及びその画素の位置関係を示す表である。但し、Ｐ：中央画素、Ｘ、Ｙ：周辺画素である。
【表２】
2004318693.tif 000009
【０１０１】
Ｘ方向に付いて、一番内側の組み合わせについて、
ａｂｓ（Ｘ１’＋Ｘ１−２＊Ｐ）＜閾値
を満たす場合、Ｘ１、Ｘ１’を平均化するデータ群に加える。
そして、一つ外側、その次・・と、上記判定式が成り立たなくなるところまで、または、あらかじめ初期値として指定された最大半径（例えば４画素）まで繰り返す。
【０１０２】
また、Ｙ方向についても同様に繰り返す。
そして、データ群に加えられたデータと、中央画素Ｐとの単純平均とを求め、新しい中央画素Ｐ’とする。
【０１０３】
上記方式で、閾値を大きく設定すると、ノイズ除去効果が大きくなり、一方、細かなディテールは消えてしまう場合がある。また、「あらかじめ初期値として指定された最大半径」を切り替えて、どの程度の大きさのノイズまで除去できるか変化させる。この例では上記の２つのパラメータがあり、領域ごとに設定値を変えることができる。
本実施の形態のステップＳ１３９では、その他のノイズフィルタの一例として、モルフォロジー処理の一形態として知られている、収縮処理（エロージョン、クロージング。以下、クロージングとする）を実施し、孤立点の除去を行う手法を利用している。
【０１０４】
傷ゴミ候補領域検出処理の続きを説明する。ノイズ処理された赤外差分データは、赤外画像上の傷ゴミ領域を示し、その領域を可視画像に適用するために、赤外画像情報の傷ゴミ領域拡張処理がなされる（ステップＳ１３Ａ）。赤外画像情報上の傷ゴミ領域に、可視画像情報上の傷ゴミ領域が確実に含まれるように所定量拡張される。傷ゴミ領域拡張処理は、モルフォロジー処理の一形態として知られている、膨張処理（ダイレーション、オープニング。以下、オープニングとする）を必要量実施する。前述のノイズフィルタに平滑化や、他のノイズフィルタを利用した場合は、信号値の再２値化の際、閾値の調整を行っても、傷ゴミ領域拡張処理と同様の処理が可能である。
【０１０５】
そして、拡張された傷ゴミ領域に含まれない画素に対応する可視画像情報の画素は正常画素とされ（ステップＳ１３Ｂ）、傷ゴミ候補領域検出処理が終了される。可視画像情報の正常画素でない画素領域が、可視画像情報の傷ゴミ候補領域とされる。傷ゴミ候補領域検出処理の終了後、次のステップ（図４のステップＳ１４）に移行される。
【０１０６】
なお、傷ゴミ候補領域の決定法は１方法に限られるものではない。本実施の形態のように赤外画像を用いるほかにも、反射原稿スキャナで表面反射画像を採取し、その表面不連続性から傷ゴミ候補領域を求めてもよい。この手法を行う反射原稿スキャナについては後述する。その他、透過原稿の場合に、照射光源の光質を切り替えて、例えば透過光と反射光、あるいは、フィルムに概平行光束を照射する集光光源と、拡散ボックスを利用して、柔らかな光をフィルムに当てる拡散光源を交互に切り替え、画像採取して、その差から傷ゴミ候補領域を検出してもよい。
【０１０７】
次に、図７を参照して、図４の傷ゴミ処理中のステップＳ１４の傷ゴミ領域決定処理を説明する。図７は、傷ゴミ領域決定処理を示すフローチャートである。傷ゴミ領域決定処理は、可視画像情報の傷ゴミ候補領域から正常画素を除外して傷ゴミ領域を決定する処理である。
【０１０８】
図７に示すように、先ず、ステップＳ１３１と同様に可視画像情報が取得される（ステップＳ１４１）。その取得された可視画像情報から一つの画素が注目画素として抽出される（ステップＳ１４２）。そして、注目画素が可視画像情報の傷ゴミ候補領域内にあるか否かが判別される（ステップＳ１４３）。注目画素が可視画像情報の傷ゴミ候補領域内にある場合（ステップＳ１４３；ＹＥＳ）、注目画素の近傍領域の正常画素が抽出される（ステップＳ１４４）。そして、その抽出された正常画素と注目画素との関連が評価される（ステップＳ１４５）。そして、注目画素と近傍の正常画素との関連性が高いか否かが判別される（ステップＳ１４６）。
【０１０９】
注目画素と、近傍の正常画素との関連評価は様々なものが考えられる。例えば、近傍の正常画素と注目画素との信号値差の絶対値が、所定閾値内に収まる画素を抽出し、その数が所定数以上存在すれば正常画素とすることができる。また、前記所定閾値は固定値でも良いが、例えば画像処理後段にノイズフィルタが機能している場合、その強度（ノイズフィルタが閾値を保持している場合は、閾値の大きさ）に応じて決定してもよい。このようにすると、微小な傷の影響は後段のノイズフィルタが消去するので、傷ゴミ処理をここで掛ける必要は無く、傷ゴミ処理が必要な領域を最低限に押さえる事ができ、画像処理能力が向上する。
【０１１０】
関連性が高くない場合（ステップＳ１４６；ＮＯ）、その注目画素は傷ゴミ領域内であると決定される（ステップＳ１４７）。そして、ステップＳ１４２において全ての画素が抽出されたか否かが判別される（ステップＳ１４８）。全ての画素が抽出された場合（ステップＳ１４８；ＹＥＳ）、傷ゴミ領域決定処理は終了される。
【０１１１】
注目画素が可視画像情報の傷ゴミ候補領域内にない場合（ステップＳ１４３；ＮＯ）、又は関連性が高い場合（ステップＳ１４６；ＹＥＳ）、その注目画素は正常画素とされ（ステップＳ１４９）、ステップＳ１４８に移行される。全ての画素が抽出されていない場合（ステップＳ１４８；ＮＯ）、ステップＳ１４２に移行される。傷ゴミ領域決定処理の終了後、次のステップ（図４のステップＳ１５）に移行される。
【０１１２】
次に、図８を参照して、図４の傷ゴミ処理中のステップＳ１１〜Ｓ１５に対応する傷ゴミ補正処理の一実施例としての第１の傷ゴミ補正処理を説明する。図８は、第１の傷ゴミ補正処理を示すフローチャートである。先ず、ステップＳ１５１〜Ｓ１５９は、図６の傷ゴミ候補領域検出処理のステップＳ１３１〜Ｓ１３９と同様である。そして、ノイズ処理された赤外差分データ上の傷、ゴミ部分が傷ゴミ領域として設定される（ステップＳ１６０）。ここでは、図６のステップＳ１３Ａのような領域拡張は行わない。
【０１１３】
そして、ステップＳ１６０で求めた傷ゴミ領域について、赤外差分データを用いて赤外画像情報上の傷、ゴミの影響を除去するための補正値が算出される（ステップＳ１６１）。そして、図６及び図７に示す傷ゴミ候補領域検出処理及び傷ゴミ領域決定処理が実行される（ステップＳ１６２）。
【０１１４】
そして、可視画像情報上の１つの画素が注目画素として抽出される（ステップＳ１６３）。そして、その注目画素が可視画像情報の傷ゴミ領域内であるか否かが判別される（ステップＳ１６４）。注目画素が可視画像情報の傷ゴミ領域内でない場合（ステップＳ１６４；ＮＯ）、ステップＳ１６９に移行される。注目画素が可視画像情報の傷ゴミ領域内である場合（ステップＳ１６４；ＹＥＳ）、注目画素の近傍領域に存在する傷ゴミ領域内の赤外補正値（ステップＳ１６１で求められた赤外画像情報の補正値）が複数抽出される（ステップＳ１６５）。
【０１１５】
そして、抽出された複数の赤外補正値の代表値が算出される（ステップＳ１６６）。具体的には、複数の赤外補正値の単純平均、各補正値の注目画素からの距離に基づいた重み付け平均、あるいは抽出された赤外補正値が多い場合には統計的処理によって異常データを排除し、残ったデータから前記平均などの処理がなされる。
【０１１６】
そして、算出された代表値が注目画素の傷ゴミ補正値に設定される（ステップＳ１６７）。そして、設定された傷ゴミ補正値を用いて、可視画像情報の傷ゴミ補正がなされる（ステップＳ１６８）。そして、ステップＳ１６８において全画素が抽出されたか否かが判別される（ステップＳ１６９）。全画素が抽出された場合（ステップＳ１６９；ＹＥＳ）、第１の傷ゴミ補正処理は終了される。全画素が抽出されていない場合（ステップＳ１６９；ＮＯ）、ステップＳ１６３に移行され、未抽出の画素が次の注目画素として抽出される。第１の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１６）に移行される。
【０１１７】
第１の傷ゴミ補正処理によれば、赤外の傷ゴミ領域と、可視の傷ゴミ領域とを別途定め、その結合を近傍信号を元に行うので、赤外画像と可視画像とに若干のずれがあっても、またさらに、そのずれが画面局部各々で不連続に異なっていても、異常補正の危険が少ない補正が可能な手法である。
【０１１８】
次に、図９を参照して、図４の傷ゴミ処理中のステップＳ１５に対応する傷ゴミ補正処理の一実施例である第２の傷ゴミ補正処理を説明する。図９は、第２のゴミ補正処理を示すフローチャートである。傷ゴミ補正処理及び第１の傷ゴミ補正処理は、赤外画像情報から、傷、ゴミの影響による信号の減衰率を求め、この逆数を、対応する可視画像情報に掛けるというものである。この考え方は、赤外画像情報が傷、ゴミから受ける影響と、可視画像情報が受ける影響とが、１：１の関係にあるという前提で成り立っている。
【０１１９】
しかし、実際の画像処理システムに於いては、このような状況は存在せず、主には以下の各要素によって関係の比率が変化する。
１：撮像系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：正弦波入力像に対する出力像のコントラスト比）が色光によってそれぞれ異なる。
２：撮像系のフレア特性が、色光によってそれぞれ異なる。
３：信号処理系のコントラスト特性が、色光によってそれぞれ異なる。
【０１２０】
したがって、これら影響を考慮して、赤外画像情報が受ける影響から、可視画像情報が受けているであろう影響を算出する修正値を定めて、補正値を修正する必要がある。簡単にいうと、修正値をＢＧＲ各々の色光について所定の定数として設定しても良いが、前述関係の比率は、その発生要因からも傷ゴミ領域の形態によって変化するものであることは明白であり、以下説明するように、傷ゴミ領域サイズに対応した補正値として定める事が望ましい。
【０１２１】
先ず、取得画像情報からＢ（青）画像を示すＢ画像情報、Ｇ（緑）画像を示すＧ画像情報及びＲ（赤）画像を示すＲ画像情報のうちの何れか一つが選択され（選択色画像情報とする）、その選択色画像情報中の画素の一つが注目画素として抽出される（ステップＳ２５１）。
【０１２２】
そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳ２５２）。注目画素が可視画像情報の傷ゴミ領域内でない場合（ステップＳ２５２；ＮＯ）、ステップＳ２５８に移行される。傷ゴミ領域内の画素である場合（ステップＳ２５２；ＹＥＳ）、注目画素について、所属する傷ゴミ領域の大きさを示す領域サイズ情報が取得される（ステップＳ２５３）。例えば、注目画素を中心に、縦、横、斜めの４方向に線分を取り、その最短線分を領域サイズ情報とする。後述する図１１を例にとれば、領域サイズ情報は、水平方向の４画素となる。また、図１１に示すように領域の平均的大きさに応じて、検索方向の数を増加させてもよい。
【０１２３】
そして、傷ゴミ領域内の注目画素の赤外補正値が算出される（ステップＳ２５４）。例えば、図８の第１の傷ゴミ補正処理などを参考に、次式により赤外画像情報から赤外画像補正値が算出される。
（赤外画像補正値）＝（赤外基準データ）／（赤外画素値、又はノイズ処理を施した赤外画素値）
但し、信号単位は、透過エネルギー量とする。
【０１２４】
そして、注目画素の周辺領域が設定され、その周辺領域内の選択色画像情報の信号の平均値と、注目画素の信号の平均値とから、仮の可視画像補正値が算出される（ステップＳ２５５）。ここで、周辺領域を後述する図１５に示すごとく定義して、先ほど求めた領域サイズ情報を設定した線分と重なる周辺領域内の画素が抽出され、その画素値の加算平均が取られる。この加算平均と注目画素の可視信号値とから、次式により可視画像補正値が取得される。
（可視画像補正値）＝（加算平均値）／（注目画素の可視信号値）
但し、信号単位は、透過エネルギー量とする。
【０１２５】
そして、ステップＳ２５５で算出された領域サイズ情報と、ステップＳ２５４で算出された可視画像情報とから、仮の修正値が算出される。例えば、赤外画像補正値と可視画像補正値から、次式により仮の修正値が求められる。
（仮の修正値）＝（可視画像補正値）／（赤外画像補正値）
【０１２６】
そして、領域サイズ情報と、仮の修正値との関係がプロット図にプロットされる（ステップＳ２５７）。プロット図は、プログラム上のプロット図であり、コンピュータプログラム実行時に仮想的に生成されるものである。そして、現在選択されている選択色画像情報について、全画素が注目画素として抽出されたか否かが判別される（ステップＳ２５８）。全画素が抽出されていない場合（ステップＳ２５８；ＮＯ）、ステップＳ２５１に移行され、同一選択色画像情報内の未抽出の画素、あるいは未抽出の色画像情報内の未抽出の画素が注目画素として抽出される。
【０１２７】
全画素が抽出された場合（ステップＳ２５７；ＹＥＳ）、現在選択されている選択画像のプロット図を元に代表曲線が生成される（ステップＳ２５９）。代表曲線生成の具体的手法は限定しないが、各種の統計手法を用い、異常点が除去でき、誤差最小曲線を求めればよい。以上の手順を複数の色光（ＲＧＢ）それぞれについて実施し、代表曲線を求める。本実施の形態のように、代表曲線を複数（ＢＧＲ）の色光各々に付いて求めれば、サイズ情報に対応した修正値を簡単に求めることができる。
【０１２８】
以上のように、代表曲線は、領域サイズ情報と修正値との関連関数として設定される（ステップＳ２６０）。そして、代表曲線が全ての選択色画像情報（Ｂ，Ｇ，Ｒ）について生成されたか否かが判別され（ステップＳ２６１）。代表曲線が全て生成されていない場合（ステップＳ２６１；ＮＯ）、ステップＳ２５１に移行され、全ての代表曲線の生成が完了するまで繰り返される。
【０１２９】
ここまでの処理が終了し、全ての代表曲線が生成された場合（ステップＳ２６１；ＹＥＳ）、次のブロック（のフロー）に移行される。先ず、可視画像情報内の一画素が注目画素として抽出される（ステップＳ２６２）。そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳ２６３）。注目画素が傷ゴミ領域内にない場合（ステップＳ２６３；ＮＯ）、ステップＳ２６９に移行される。
【０１３０】
注目画素が傷ゴミ領域内にある場合（ステップＳ２６３；ＹＥＳ）、ステップＳ２５３と同様にして、注目画素がある傷ゴミ領域の領域サイズ情報が取得される（ステップＳ２６４）。そして、注目画素のＢ信号、Ｇ信号、Ｒ信号の何れか一つが選択され、ステップＳ２５４と同様にして、その色信号（選択色信号とする）の赤外画像補正値が算出される（ステップＳ２６５）。そして、ステップＳＳ２６０において設定された代表曲線を用いて、ステップＳ２６４において取得された領域サイズ情報に対応する修正値が取得される（ステップＳ２６６）。
【０１３１】
そして、ステップＳ２６５において算出された赤外画像補正値と、ステップＳ２６６において取得された修正値との積が生成される（ステップＳ２６７）。その積を用いて、選択色信号に対応する色画像情報が補正される（ステップＳ２６８）。このステップＳ２６５〜Ｓ２６８の処理が全ての色信号（ＢＧＲ）について繰り返し実行される。
【０１３２】
そして、注目画素が、可視画像情報内の全画素から抽出されて、ステップＳ２６２〜Ｓ２６８の処理が全画素について実施されたか否かが判別される（ステップＳ２６９）。全画素について実施された場合（ステップＳ２６９；ＹＥＳ）、第２の傷ゴミ補正処理が終了される。全画素について実施されていない場合（ステップＳ２６９；ＮＯ）、ステップＳ２６２に移行され、ステップＳ２６２〜Ｓ２６９の処理が繰り返される。第２の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１６）に移行される。
【０１３３】
なお、第２の傷ゴミ補正処理では、代表曲線を色画像情報ごとに求めるとしているが、状況に応じて、システム共通のデータとしてあらかじめ求めてもよい。さらに、ある程度以上の長さ（領域サイズは、領域最短幅のため、形態的には細長い傷、ゴミ領域ということになる）を有する傷ゴミ領域各々について独立に代表曲線を求めることもできる。
【０１３４】
次に、図１０〜図１３を参照して、図４の傷ゴミ処理中のステップＳ１８の傷ゴミ補間処理に用いられる好ましい一例を説明する。図１０は、傷ゴミ補間処理を示すフローチャートである。図１１は、注目画素の補間処理候補選択を示す図である。図１２は、注目画素の補間処理候補選択の３つの様態例を示す図である。図１３は、注目画素の２つの方向特性例を示す図である。
【０１３５】
先ず、傷ゴミ補正された可視画像情報から一つの画素が注目画素として抽出される（ステップＳ１８１）。そして、注目画素が可視画像情報の傷ゴミ領域内にあるか否かが判別される（ステップＳ１８２）。注目画素が傷ゴミ領域内にない場合（ステップＳ１８２；ＮＯ）、ステップＳ１８９に移行される。
【０１３６】
注目画素が傷ゴミ領域内にある場合（ステップＳ１８２；ＹＥＳ）、ＢＧＲのうちの一つの色画像情報が選択され、その色画像情報において、注目画素を中心に対向する正常画素対が傷ゴミ補間の候補データとして抽出される（ステップＳ１８３）。例えば、図１１に示すように、縦、横、斜めの４方向に対向する正常画素が抽出される。また、図１２（ａ）〜（ｃ）に示すように、傷ゴミ領域サイズ（対向画素の距離）に応じて抽出する方向数を増減してもよい。図１２では、対向画素間距離が大きくなるにつれて、方向数も増加されている。
【０１３７】
そして、抽出された対向画素同士の関連評価がなされる（ステップＳ１８４）。例えば、対向画素同士の信号値の差分データにより評価され、その差分データが小さいほど関連性が高くなる。そして、最も関連性の高い方向が抽出される（ステップＳ１８５）。ステップＳ１８３〜Ｓ１８５について、全ての色画像情報（ＲＧＢ画像情報）について繰り返し実行される。
【０１３８】
そして、ＢＧＲ画像情報それぞれで抽出された方向の関係が評価される（ステップＳ１８６）。その評価結果に基づき、補間元の画素を抽出する方向が定められ、その方向の画素対が抽出される（ステップＳ１８７）。例えば、図１３（ａ）に示すように、Ｇ及びＲ画像情報から求めた方向が同一で、Ｇ画像情報から求めた方向に重み付け６がなされ、Ｒ画像情報から求めた方向に重み付け３がなされ、その方向と垂直なＢ画像情報から求めた方向に重み付け１がなされる。この場合、ＢＧＲから求めた方向は重み付けが考慮されて、補間元の画素の取得方向が図の方向に決定される。ＢＧＲの補間方向を一致させないと補間後の画素に不自然な色がつく可能性があるからである。また、図１３（ｂ）に示すように各方向の重み付けに指向性が見られない場合、補間元の画素取得の方向性を特定の方向とせずに補間されるとしてもよい。
【０１３９】
上述の重み付けは、視感度を元に、具体的には、ＮＴＳＣ方式の色変換で用いるＢＧＲ画像の重み付けを元にしている。例えば、青は観察者の目に対する感度が低いために重み付けが低く設定され、緑は観察者の目に対する感度が高いために重み付けが高く設定されている。しかしこれに限るものではなく、ベクトル決定時の信頼度情報を別途求める構成でもよい。その信頼度情報は、例えば複数方向のなかで、当該方向を選んだ際に、選ばれなかった他のグループの選択指標との格差を、統計的に処理して信頼度を求めればよい。
【０１４０】
そして、抽出された画素対を用いて、注目画素の補間後の信号値が推定され、その推定された画素値に注目画素の信号値が置き換えられて補間される（ステップＳ１８８）。そして、ステップＳ１８１において、可視画像情報の全ての画素が注目画素として抽出されたか否かが判別される（ステップＳ１８９）。全ての画素が抽出された場合（ステップＳ１８９；ＹＥＳ）、傷ゴミ補間処理が終了される。全ての画素が抽出されていない場合（ステップＳ１８９；ＮＯ）、ステップＳ１８１に移行され、未抽出の画素が次の注目画素として抽出される。傷ゴミ補間処理の終了後、次のステップ（図３のステップＳ２）に移行される。
【０１４１】
次に、図１４及び図１５を参照して、図４の傷ゴミ処理中のステップＳ１５〜Ｓ１８に対応する傷ゴミ補正補間処理を説明する。図１４は、傷ゴミ補正補間処理を示すフローチャートである。図１５は、傷ゴミ領域及びその周辺領域を示す図である。
【０１４２】
先ず、既に求められた可視画像情報の傷ゴミ領域を用いて、可視画像情報の傷ゴミ補正前の傷ゴミ領域特性値が算出され、傷ゴミ領域の近傍画素の領域が周辺領域とされる（ステップＳ２８１）。例えば、図１５に示すように、近傍画素の所定範囲を１ピクセルとして、傷ゴミ領域の近傍の正常画素の一部を周辺領域とする。特性値は、所定画素の所定距離内にある傷ゴミ領域内の画素データを用いて算出した特性値であり、ステップＳ２８１では傷ゴミ領域内の全画素について算出される。傷ゴミ領域特性値は、各画素を中心とした、所定距離内にある傷ゴミ領域内の画素データを用いて算出した特性値であり、例えば、所定距離内で傷ゴミ領域内の各画素の画素値の平均値とされる。また、傷ゴミ領域特性値の算出は統計的手法によってもよい。
【０１４３】
そして、可視画像情報に傷ゴミ補正処理が実施される（ステップＳ２８２）。例えば、図９に示した赤外画像補正値を用いた傷ゴミ補正処理である。そして、可視画像情報内の一画素が注目画素として抽出される（ステップＳ２８３）。そして、その抽出された注目画素が傷ゴミ領域内にあるか否かが判別される（ステップＳ２８４）。
【０１４４】
注目画素が傷ゴミ領域内にない場合（ステップＳ２８４；ＮＯ）、ステップＳ２８９に移行される。注目画素が傷ゴミ領域内にある場合（ステップＳ２８４；ＹＥＳ）、注目画素に対応する、傷ゴミ補正後の傷ゴミ領域特性値と、周辺領域特性値とが算出される（ステップＳ２８５）。傷ゴミ領域特性値は、注目画素を中心とした、所定距離内にある傷ゴミ領域内の画素データを用いて算出した特性値である。周辺領域特性値は、注目画素を中心とした、所定距離内にある周辺領域の画素データを用いて算出した特性値とである。それぞれの特性値は、前述のように、所定距離内にある各領域内の画素の画素値の平均値や、統計的手法により算出される。
【０１４５】
そして、ステップＳ２８１において算出された補正前の傷ゴミ領域特性値の注目画素に対応する値、ステップＳ２８５において算出された補正後の傷ゴミ領域特性値及び周辺領域特性値とから、補正前と補正後との特性値間格差（傷ゴミ領域内特性値−周辺領域特性値）がそれぞれ算出され、補正前の特性値間格差と補正後の特性値間格差との関係が評価される（ステップＳ２８６）。そして、補正前の特性値間格差に比べて補正後の特性値間格差が十分縮小された否かが判別される（ステップＳ２８７）。例えば、補正後の特性値間格差が補正前の特性値間格差よりも所定値以上低下したか否かにより判別される。評価基準は、実際に複数サンプル画像で評価を行い、好ましく調整すればよい。
【０１４６】
補正後の特性値間格差が十分縮小された場合（ステップＳ２８７；ＹＥＳ）、ステップＳ２８９に移行される。補正後の特性値間格差が十分縮小されていない場合（ステップＳ２８７；ＮＯ）、注目画素について傷ゴミ補間処理が実施される（ステップＳ２８８）。例えば、図１０に示す傷ゴミ補間処理である。そして、ステップＳ２８３において可視画像情報内の全画素が注目画素として抽出されたか否かが判別される（ステップＳ２８９）。全画素が抽出された場合（ステップＳ２８９；ＹＥＳ）、傷ゴミ補正補間処理が終了される。全画素が抽出されていない場合（ステップＳ２８９；ＮＯ）、ステップＳ２８３に移行され、未抽出の画素が次の抽出画素として抽出される。傷ゴミ補正補間処理の終了後、次のステップ（図３のステップＳ２）に移行される。
【０１４７】
以上の傷ゴミ補正補間処理は、自動的に補正評価されるものである。なお、傷ゴミ補正補間処理では、傷ゴミ処理内の傷ゴミ補正処理を先に行い、その後、傷ゴミ補間処理を実施している。この際、傷ゴミ補間処理を実施するにあたって、傷ゴミ補正処理により補正された画素を正常画素として扱う事が望ましい。即ち、傷ゴミ補間処理の必要な領域近傍に、傷ゴミ補正処理が必要な領域が存在する場合に、まず傷ゴミ補正処理によって補正した画素を正常画素とすることによって、傷ゴミ補間処理に必要な周辺情報を有効に増大させる事が可能になる。この手法は、例えば、非常に広い傷ゴミ領域が存在する場合に、非常に有効な技術となる。
【０１４８】
ここで、傷ゴミ補正処理及び傷ゴミ補間処理の実施の具体例を３つ説明する。
（第１の例）
まず、非常に広い傷、ゴミ領域を赤外画像情報を用いて認識する。さらに、該領域内のテクスチャ構造を赤外画像情報を用いて評価し、均質部と非均質部とに分割する。均質部は、傷、ゴミの影響が安定して現れているところであり、この部分を赤外画像情報を元に傷ゴミ補正処理する。非均質部は、前述の補正された画素も正常画素と考えて、傷ゴミ補間処理を実施する。
【０１４９】
この傷ゴミ補正処理と傷ゴミ補間処理との組み合わせでは、安定領域で赤外画像を用いた補正処理が実施されるので、広い面積に渡って略良好な補正結果が得られる。また、２次効果として、赤外画像情報が可視画像情報と正確に位置対応が取れていなくても、安定補正領域であることから補正性能が劣化することが無く、補正性能劣化の可能性がある非均質領域は、補間処理を実施するので、副作用の発生が少ない処理結果が得られる。
【０１５０】
（第２の例）
まず、非常に広い傷ゴミ領域を、赤外画像情報を用いて認識する。さらに、該領域内のテクスチャ構造を、赤外画像情報を用いて評価し、均質部と非均質部とに分割する。均質部は、傷、ゴミの影響が安定して現れているところであり、可視画像情報のみで補正する事が簡単な領域である。非均質部は、可視画像情報による補正が比較的難しい部分であり、赤外画像情報と可視画像情報との十分な位置整合を取った上で、傷ゴミ補正処理を実施する。非均質部を傷ゴミ補正処理後、可視画像情報を用いた均質部の補間、または補正処理を実施する。
【０１５１】
この傷ゴミ補正処理と傷ゴミ補間処理との組み合わせでは、赤外画像情報と可視画像情報との十分な位置整合を取る必要があるが、それが可能な状態であれば、非均質領域の傷ゴミ補正が効果的に行える。また、均質領域は可視による補正処理のしやすい領域であり、実際の画像情報を元に処理を行うので、強力な補正結果が得られる。可視画像情報を用いた傷ゴミ補正処理の例は、後述する。
【０１５２】
また、さらに、傷ゴミ補間処理を実施する際に、周辺領域を大局的に調査し、その調査結果に基づいて傷ゴミ補間処理する場合も有効である。この場合は、傷ゴミ補正処理する傷ゴミ領域と、傷ゴミ補間処理する傷ゴミ領域とが接していない場合でも効果を発揮する。
【０１５３】
第１及び第２の例によれば、赤外画像情報の画像欠陥領域内のテクスチャ構造の特徴に応じて、可視画像情報に対して好ましい補正方法を選択して実行できる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外画像情報による信号強度の補正が逆補正となってしまう不具合にも、好ましい補正を選択して実行し、有効に対処できる。また、赤外画像情報の残存収差や、赤外画像情報と可視画像情報との間に色ずれ（位置ずれ）が存在してもこれに対応した良好な画像処理が可能になる。
【０１５４】
（第３の例）
先ず、補正処理を行う傷ゴミ領域について、傷ゴミ補正処理する（正常画素に分類しなおす）。その正常画素のみを対象に像構造を解析する。例えば、画像を複数の空間周波数帯域に分割し、分析する解像度変換の手法としてウェーブレット変換を用いることができる。以下、図１６〜図２４を参照して、ウェーブレット変換、二項ウェーブレット変換について簡単に説明する。
【０１５５】
画像の局所部位毎に周波数帯域の分割を行い、周波数帯域別に抑制・強調を行なう効率的な方法として、ウエーブレット変換を応用する技術が知られている。ウエーブレット変換の詳細については、例えば”Ｗａｖｅｌｅｔ  ａｎｄ  Ｆｉｌｔｅｒ  Ｂａｎｋｓ”  ｂｙ  Ｇ．  Ｓｔｒａｎｇ  ＆  Ｔ．  Ｎｇｕｙｅｎ，  Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ  Ｐｒｅｓｓ（邦訳  「ウエーブレット解析とフィルタバンク」，  Ｇ．ストラング・Ｔ．グエン共著，  培風館  ）や、”Ａ  ｗａｖｅｌｅｔ  ｔｏｕｒ  ｏｆ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ２ｅｄ．”  ｂｙ  Ｓ．Ｍａｌｌａｔ，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ  に記載されているが、ここでは概要を説明する。ここで挙げた文献を第１のウエーブレット文献とする。
【０１５６】
ウェーブレット変換とは、図１６に例示されるような有限範囲で振動するウェーブレット関数（下記式（１））を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数〈ｆ、ψａ，ｂ〉を、下記式（２）のように求めることにより、下記式（３）で示されるウェーブレット関数の総和に分解する変換である。
【数１】
2004318693.tif 000010
【数２】
2004318693.tif 000011
【数３】
2004318693.tif 000012
【０１５７】
上記式（１）〜（３）において、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図１６に例示するように、スケールａの値が大きいほどウェーブレット関数ψａ，ｂ（ｘ）の周波数は小さくなり、位置ｂの値に従ってウェーブレット関数ψａ，ｂ（ｘ）が振動する位置が移動する。従って、上記式（３）は、入力信号ｆ（ｘ）を、種々のスケールと位置を有するウェーブレット関数ψａ，ｂ（ｘ）の総和に分解することを意味している。
【０１５８】
上述のような変換を可能にするウェーブレット関数は多くのものが知られているが、画像処理分野では計算が高速な直交ウェーブレット（ｏｒｔｈｏｇｏｎａｌ  ｗａｖｅｌｅｔ）変換、双直交ウェーブレット（ｂｉｏｒｔｈｏｇｏｎａｌ  ｗａｖｅｌｅｔ）変換が広く用いられている。以下、直交ウェーブレット・双直交ウェーブレットの変換計算の概要を説明する。
【０１５９】
直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は、下記式（４）のように定義される。
【数４】
2004318693.tif 000013
但し、ｉは自然数である。
【０１６０】
式（４）と式（１）を比べると、直交ウェーブレット変換、双直交ウェーブレット変換においては、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２ｉで離散的に定義されていることがわかる。このｉの値はレベルと呼ばれる。
【０１６１】
レベルｉを有限な上限Ｎまでに制限すると、入力信号ｆ（ｘ）は、下記式（５）〜（７）のように表される。
【数５】
2004318693.tif 000014
【数６】
2004318693.tif 000015
【数７】
2004318693.tif 000016
【０１６２】
式（５）の第２項は、レベル１のウェーブレット関数ψ１，ｊ（ｘ）の総和で表せない残差の低周波数帯域成分を、レベル１のスケーリング関数φ１，ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものが用いられる（第１のウエーブレット文献を参照）。式（５）に示すレベル１のウェーブレット変換によって、入力信号ｆ（ｘ）＝Ｓ０は、レベル１の高周波数帯域成分Ｗ１と低周波数帯域成分Ｓ１に信号分解されたことになる。
【０１６３】
ウェーブレット関数ψｉ，ｊ（ｘ）の最小移動単位は２ｉゆえ、入力信号Ｓ０の信号量に対して、高周波数帯域成分Ｗ１と低周波数帯域成分Ｓ１の信号量は各々１／２となり、高周波数帯域成分Ｗ１と低周波数帯域成分Ｓ１の信号量の総和は、入力信号Ｓ０の信号量と等しくなる。レベル１の低周波数帯域成分Ｓ１は、式（６）でレベル２の高周波数帯域成分Ｗ２と低周波数帯域成分Ｓ２に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ０は、式（７）に示すように、レベル１〜Ｎの高周波数帯域成分の総和と、レベルＮの低周波数帯域成分の和に分解される。
【０１６４】
ここで、式（６）で示す１レベルのウェーブレット変換は、図１７に示すようなフィルタ処理で計算できることが知られている。図１７において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる（第１のウエーブレット文献を参照）。図１７において、２↓は、信号を１つおきに間引くダウンサンプリングを示す。
【０１６５】
図１７に示すように、入力信号Ｓｎ−１を、ローパスフィルタＬＰＦとハイパスフィルタＨＰＦで処理して、信号を１つおきに間引くことにより、入力信号Ｓｎ−１を、高周波帯域成分Ｗｎと低周波帯域成分Ｓｎに分解することができる。
【０１６６】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図１８に示すようなフィルタ処理で計算される。図１８において、ＬＰＦｘ、ＨＰＦｘ、２↓ｘはｘ方向の処理を示し、ＬＰＦｙ、ＨＰＦｙ、２↓ｙは、ｙ方向の処理を示す。まず、入力信号Ｓｎ−１をｘ方向のローパスフィルタＬＰＦｘ、ハイパスフィルタＨＰＦｘによりフィルタ処理を行い、ｘ方向にダウンサンプリングする。これにより、入力信号Ｓｎ−１は、低周波帯域成分ＳＸｎと高周波帯域成分ＷＸｎに分解される。低周波帯域成分ＳＸｎと高周波帯域成分ＷＸｎの各々に対して、ｙ方向のローパスフィルタＬＰＦｙ、ハイパスフィルタＨＰＦｙによるフィルタ処理を行い、ｙ方向にダウンサンプリングする。
【０１６７】
この１レベルのウェーブレット変換により、低周波数帯域成分Ｓｎ−１は、３つの高周波数帯域成分Ｗｖｎ、Ｗｈｎ、Ｗｄｎと、１つの低周波数帯域成分Ｓｎに分解される。分解で生成されるＷｖｎ、Ｗｈｎ、Ｗｄｎ、Ｓｎの各々の信号量は、分解前のＳｎ−１に比べて縦横ともに１／２となるため、分解後の４成分の信号量の総和は、分解前のＳｎ−１の信号と等しくなる。
【０１６８】
入力信号Ｓ０が３レベルのウェーブレット変換で信号分解される過程を模式的に図１９に示す。図１９に示すように、レベル数が大きくなるにつれて、ダウンサンプリングにより画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【０１６９】
また、図２０に示すように、分解によって生成したＷｖｎ，  Ｗｈｎ，  Ｗｄｎ，  Ｓｎに対し、フィルタ処理で計算されるウェーブレット逆変換を施すことにより、分解前の信号Ｓｎ−１を完全再構成できることが知られている。図２０において、ＬＰＦ’は、逆変換用のローパスフィルタ、ＨＰＦ’は、逆変換用のハイパスフィルタを示している。また、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ’ｘ、ＨＰＦ’ｘ、２↑ｘは、ｘ方向の処理を示し、ＬＰＦ’ｙ、ＨＰＦ’ｙ、２↑ｙはｙ方向の処理を示す。
【０１７０】
図２０に示すように、Ｓｎをｙ方向にアップサンプリング処理及びローパスフィルタＬＰＦ’ｙによるフィルタ処理を施すことにより得られる信号と、Ｗｈｎをｙ方向におけるアップサンプリング処理及びハイパスフィルタＨＰＦ’ｙによるフィルタ処理を施すことにより得られる信号とを加算してＳＸｎを得る。これと同様にして、ＷｖｎとＷｄｎからＷＸｎを生成する。
【０１７１】
さらに、ＳＸｎをｘ方向においてアップサンプリング処理及びローパスフィルタＬＰＦ’ｘによるフィルタ処理を施すことにより得られる信号と、ＷＸｎをｘ方向においてアップサンプリング処理及びハイパスフィルタＨＰＦ’ｘによるフィルタ処理を施すことにより得られる信号とを加算することにより、分解前の信号Ｓｎ−１を再構成することができる。
【０１７２】
ウェーブレット逆変換の際に用いられるフィルタは、直交ウェーブレット変換の場合には変換する際に用いた係数と同じ係数のフィルタが使用される。双直交ウェーブレット変換の場合には、変換に用いた係数とは異なる係数のフィルタが逆変換の際に使用される（第１のウェーブレット文献を参照）。
【０１７３】
ウェーブレット変換によって抽出された画像劣化を補正するには、以下の方法を用いることができる。例えば、ブロックノイズを補正するのであれば、輝度信号と色差信号の一方又は双方について、画像劣化画素に隣接する非画像劣化画素の高周波帯域成分信号を用いて画像劣化画素の補間処理をすればよい。
【０１７４】
また、モスキートノイズやリンギングを補正する場合も、輝度信号と色差信号の一方又は双方について、画像劣化画素に隣接する非画像劣化画素の高周波帯域成分信号を用いて画像劣化画素を補間処理をすればよい。特に、輝度信号については、画像劣化画素の信号値の１階微分値を０にするか、エッジの急峻さに応じて画像劣化画素の信号値の１階微分値を減衰させるようにすればよい。
【０１７５】
なお、このような１階微分値を連続させることを目的とする高周波帯域成分に関わる処理を、輝度信号と色差信号の一方に適用するか双方に適用するかは、補正を施す対象となる画像劣化の特性に応じて選択されることが好ましい。
【０１７６】
次に、二項ウェーブレット変換について説明する。二項ウェーブレット（Ｄｙａｄｉｃ  Ｗａｖｅｌｅｔ）変換については、”Ｓｉｎｇｕｌａｒｉｔｙ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｐｒｏｃｅｓｓｉｎｇ  ｗｉｔｈ  ｗａｖｅｌｅｔｓ”  ｂｙ  Ｓ．Ｍａｌｌａｔ  ａｎｄ  Ｗ．Ｌ．Ｈｗａｎｇ，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｎｆｏｒｍ．  Ｔｈｅｏｒｙ  ３８  ６１７  （１９９２）  や  ”Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｓｉｇｎａｌｓ  ｆｒｏｍ  ｍｕｌｔｉｓｃａｌｅ  ｅｄｇｅｓ”  ｂｙ  Ｓ．Ｍａｌｌａｔ  ａｎｄ  Ｓ．Ｚｈｏｎｇ，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌ．  １４  ７１０  （１９９２）  や  ”Ａ  ｗａｖｅｌｅｔ  ｔｏｕｒ  ｏｆ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ２ｅｄ．”  ｂｙ  Ｓ．Ｍａｌｌａｔ，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ  に詳細な説明があるが、以下にその概要を説明する。ここで挙げた文献を第２のウェーブレット文献とする。
【０１７７】
二項ウェーブレット変換で用いられるウェーブレット関数は下記式（８）のように定義される。
【数８】
2004318693.tif 000017
但し、ｉは自然数である。
【０１７８】
直交ウェーブレット変換、双直交ウェーブレット変換のウェーブレット関数は、上述のように、レベルｉにおける位置の最小移動単位が２ｉで離散的に定義されていたのに対し、二項ウェーブレット変換は、レベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換は、下記の特徴を有する。
【０１７９】
第一の特徴として、下記式（９）に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗｉと低周波数帯域成分Ｓｉの各々の信号量は、変換前の信号Ｓｉ−１と同一である。
【数９】
2004318693.tif 000018
【０１８０】
二項ウェーブレット変換の第二の特徴として、スケーリング関数φｉ，ｊ（ｘ）とウェーブレット関数ψｉ，ｊ（ｘ）の間に、下記の関係式（１０）が成立する。
【数１０】
2004318693.tif 000019
従って、二項ウェーブレット変換で生成する、高周波数帯域成分Ｗｉは、低周波数帯域成分Ｓｉの１階微分（勾配）で表される。
【０１８１】
二項ウェーブレット変換の第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γｉ（上述の二項ウェーブレットに関する参考文献を参照）を高周波数帯域成分に乗じたＷｉ・γｉ（以下、これを補正済高周波数帯域成分と称す）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波数帯域成分Ｗｉ・γｉの信号強度のレベル間の関係が一定の法則に従う。
【０１８２】
図２１に、入力信号Ｓ０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波数帯域成分の波形を示す。図２１において、（ａ）は入力信号Ｓ０を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ１・γ１を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ２・γ２を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ３・γ３を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ・γ４を示す。
【０１８３】
各レベルにおける信号強度の変化を見ると、（ａ）において、”１”や”４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。
【０１８４】
入力信号Ｓ０において、”２”に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗｉ・γｉは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ０において、”３”に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【０１８５】
二項ウェーブレット変換における第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、上述の直交ウェーブレット変換や双直交ウェーブレット変換と異なり、図２２に示す方法で行われる。
【０１８６】
図２２に示すように、１レベルの二項ウェーブレット変換により、入力信号Ｓｎ−１を、ｘ方向のローパスフィルタ及びｙ方向のローパスフィルタで処理することにより、低周波数帯域成分Ｓｎが得られる。また、入力信号Ｓｎ−１を、ｘ方向のハイパスフィルタで処理することにより、高周波数帯域成分Ｗｘｎが得られる。更に、入力信号Ｓｎ−１を、ｙ方向のハイパスフィルタで処理することにより、もう一つの高周波数帯域成分Ｗｙｎが得られる。
【０１８７】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓｎ−１は、２つの高周波数帯域成分Ｗｘｎ、Ｗｙｎと、１つの低周波数帯域成分Ｓｎに分解される。２つの高周波数帯域成分Ｗｘｎ、Ｗｙｎは、低周波数帯域成分Ｓｎの２次元における変化ベクトルＶｎのｘ成分とｙ成分に相当する。変化ベクトルＶｎの大きさＭｎと偏角Ａｎは下記式（１１）及び（１２）で与えられる。
【数１１】
2004318693.tif 000020
【数１２】
2004318693.tif 000021
【０１８８】
また二項ウェーブレット変換で得られた２つの高周波数帯域成分Ｗｘｎ、Ｗｙｎと１つの低周波数帯域成分Ｓｎに、図２３に示す二項ウェーブレット逆変換を施すことにより、変換前の信号Ｓｎ−１を再構成することができる。すなわち、Ｓｎをｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより得られる信号と、Ｗｘｎをｘ方向のハイパスフィルタＨＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより得られる信号と、Ｗｙｎをｘ方向のローパスフィルタＬＰＦｘ及びハイパスフィルタＨＰＦｙで処理することにより得られる信号と、を加算することによって、二項ウェーブレット変換前の信号Ｓｎ−１を得ることができる。
【０１８９】
次に、図２４のブロック図に基づいて、入力信号Ｓ０に対する二項ウェーブレット変換から、画像劣化が補正された信号Ｓ０’を得るまでの方法について説明する。
【０１９０】
入力信号Ｓ０に対するレベル１の二項ウェーブレット変換によって、入力信号Ｓ０は、２つの高周波数帯域成分Ｗｘ１、Ｗｙ１と低周波数帯域成分Ｓ１に分解される。レベル２のウェーブレット変換によって、レベル１の二項ウェーブレット変換で得られた低周波数帯域成分Ｓ１は、更に２つの高周波数帯域成分Ｗｘ２、Ｗｙ２と低周波数帯域成分Ｓ２に分解される。この様な分解操作をレベルｎまで繰り返すことにより、入力信号Ｓ０は、複数の高周波数帯域成分Ｗｘ１、Ｗｘ２、…、Ｗｘｎ、Ｗｙ１、Ｗｙ２、…、Ｗｙｎと、１つの低周波数帯域成分Ｓｎとに分解される。
【０１９１】
このようにして得られた高周波数帯域成分Ｗｘ１、Ｗｘ２、…、Ｗｘｎ、Ｗｙ１、Ｗｙ２、…、Ｗｙｎ、低周波数帯域成分Ｓｎから、画像劣化が抽出され、画像劣化に対する補正処理が行われ、補正された高周波数帯域成分Ｗｘ１’、Ｗｘ２’、…、Ｗｘｎ’、Ｗｙ１’、Ｗｙ２’、…、Ｗｙｎ’、低周波数帯域成分Ｓｎ’が得られる。
【０１９２】
そして、これら高周波数帯域成分Ｗｘ１’、Ｗｘ２’、…、Ｗｘｎ’、Ｗｙ１’、Ｗｙ２’、…、Ｗｙｎ’、低周波数帯域成分Ｓｎ’に、二項ウェーブレット逆変換が施される。すなわち、補正後のレベルｎにおける２つの高周波数帯域成分Ｗｘｎ’、Ｗｙｎ’と低周波数帯域成分Ｓｎ’から、補正されたレベルｎ−１の低周波数帯域成分Ｓｎ−１’が構成される。このような操作を繰り返し、補正後のレベル２における２つの高周波数帯域成分Ｗｘ２’、Ｗｙ２’と低周波数帯域成分Ｓ２’から、補正されたレベル１の低周波数帯域成分Ｓ１’が構成される。この低周波数帯域成分Ｓ１’と、レベル１における２つの高周波数帯域成分Ｗｘ１’、Ｗｙ１’から、補正後の画像信号Ｓ０’が構成される。
【０１９３】
なお、図２４において用いられる各フィルタのフィルタ係数は二項ウェーブレット変換に応じて適切に定められる（第２のウェーブレット文献参照）。また二項ウェーブレット変換においては、レベル毎に用いるフィルタのフィルタ係数が異なる。レベルｎにおいて使用するフィルタ係数は、レベル１のフィルタの各係数の間に２ｎ−１−１個のゼロを挿入したものが用いられる（第２のウェーブレット文献参照）。
【０１９４】
二項ウェーブレット変換によって抽出された画像劣化を補正するには、以下の方法を用いることができる。輝度信号や色差信号の１階微分値を連続させるように、二項ウェーブレット変換によって得られた高周波数帯域成分（Ｗｘｎ，  Ｗｙｎ）から算出される変化ベクトルＶｎの大きさＭｎ（式１１参照）と偏角Ａｎ（式１２参照）の一方又は双方を補正するのが好ましい。より詳細には、画像劣化画素の輝度信号と色差信号の一方又は双方について、変化ベクトルＶｎの大きさＭｎや偏角Ａｎの値を、画像劣化画素に隣接する非画像劣化画素の変化ベクトルの大きさや偏角の値を用いて補間処理をすればよい。なお、補間処理の方法は、当業界で知られる手法が選択され、上述の方法に限定されるものではない。
【０１９５】
以上述べたような、例えば２項ウェーブレット変換を用いて画像変換し、式（１１）で示される、変化ベクトルの大きさ（信号値勾配情報）と、式（１２）で示される変化ベクトルの方向に基づいて、傷ゴミ補間方法を決定できる。例えば、画像情報に傷ゴミ補正処理及び傷ゴミ補間処理を順に行い、傷ゴミ領域に含まれない正常画素が有する信号値勾配情報に基づいて、傷ゴミ領域の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理を行う構成である。この場合、可能な範囲でエッジなどの画像構造に関する情報が復元でき、補間処理に用いるアルゴリズムがより効果的に機能し、より確実な補間処理を実行して補間結果を得ることができる。
【０１９６】
この際、多重解像度変換の分解レベルが上がるにつれ、変化ベクトルは大局的な構造を示すものとなり、補間結果にも大局的構造を反映させる事が可能となる。また、前述のように、あらかじめ補正処理によって正常画素領域の占める割合を増大させているから、より正確な大局的構造を評価する事が可能である。
【０１９７】
また、上述のウェーブレット変換は非常に処理量が多いものであるが、画像に関し非常に有用な情報を得ることができる。被写体パターン抽出や、覆い焼きなどの各種マスキング処理など、高度な処理にたいして非常に有用な技術であるので、これら処理を行う、高度な画像処理システムに於いては、既にこれら目的で用いられたウェーブレット変換の各種情報を、本実施の形態の傷ゴミ処理に用いることができるので大きな処理量も問題とはならないであろう。
【０１９８】
次に、図２５を参照して、図３の傷ゴミ処理中のステップＳ１５の一実施例としての第３の傷ゴミ補正処理を説明する。図２５は、第３の傷ゴミ補正処理を示すフローチャートである。第３の傷ゴミ補正処理は、可視画像情報を用いて補正処理を行う手法の一例である。
【０１９９】
先ず、既に求められた可視画像情報上の傷ゴミ領域の近傍画素の領域が周辺領域とされる（ステップＳ３５１）。例えば、図１５に示すように、近傍画素の所定範囲を１ピクセルとする。そして、可視画像情報内の一画素が注目画素として抽出される（ステップＳ３５２）。そして、その抽出された注目画素が傷ゴミ領域内にあるか否かが判別される（ステップＳ３５３）。
【０２００】
注目画素が傷ゴミ領域内にない場合（ステップＳ３５３；ＮＯ）、ステップＳ３５８に移行される。注目画素が傷ゴミ領域内にある場合（ステップＳ３５３；ＹＥＳ）、注目画素における傷ゴミ領域特性値が算出される（ステップＳ３５４）。例えば、注目画素から所定領域内の傷ゴミ領域内の画素の特性値の平均値が算出される。そして、注目画素における周辺領域特性値が算出される（ステップＳ３５５）。周辺領域特性値は、注目画素を中心とした、所定距離内にある周辺領域内の画素値を用いて算出した特性値であり、例えば、所定距離内で周辺領域内の各画素の画素値の平均値とされる。また、傷ゴミ領域特性値や周辺領域特性値の算出は、例えば異常データを除外し、その後最頻値を求めるなど、統計的手法によってもよい。
【０２０１】
そして、算出された傷ゴミ領域特性値と周辺領域特性値との差である特性値間格差に基づいて、可視画像補正値が傷ゴミ補正値として算出される（ステップＳ３５６）。その算出された傷ゴミ補正値（可視画像補正値）を用いて、注目画素に傷ゴミ補正がなされる（ステップＳ３５７）。そして、ステップＳ３５２において可視画像情報内の全画素が注目画素として抽出されたか否かが判別される（ステップＳ３５８）。全画素が抽出された場合（ステップＳ３５８；ＹＥＳ）、第３の傷ゴミ補正処理が終了される。全画素が抽出されていない場合（ステップＳ３５８；ＮＯ）、ステップＳ３５２に移行され、未抽出の画素が次の抽出画素として抽出される。第３の傷ゴミ補正処理の終了後、次のステップ（図４のステップＳ１６）に移行される。
【０２０２】
一般的に、傷、ゴミの影響は、その及ぼす領域の形態は様々であるが、一つの領域内の隣接する各ピクセルが受けている影響の度合いには特に重視すべき大きな差は無く、第３の傷ゴミ補正処理によって、視覚的に好ましい補正結果が得られる。また、第３の傷ゴミ補正処理によれば、実際に必要な画像（ここでは可視画像情報）のみを用いて傷ゴミ領域の補正が実施できるので、例えば、赤外画像情報と可視画像情報とのＭＴＦ特性やフレア特性に大きな差が有った場合にも補正過剰や不足の生じない補正性能が実現できる。さらに、可視画像情報が欠損しているような場合（例えば、フィルム上に損傷が存在する場合）でも、逆補正の危険が少ない、欠陥の影響を目立たせない、良好な処理結果が得られる。
【０２０３】
次に、図２６及び図２７を参照して、図３の画像処理中のステップＳ５の拡大縮小処理と、ステップＳ７の鮮鋭性粒状性補正処理とを説明する。図２６は、拡大縮小処理を示すフローチャートである。図２７は、鮮鋭性粒状性補正処理を示すフローチャートである。
【０２０４】
先に、図２６を参照して拡大縮小処理を説明する。拡大縮小処理は、その手法によって処理結果が異なり、特に、画像情報の平滑化作用に大きな差がある。先ず、可視画像情報中の拡大／縮小に必要な格子点座標が計算される（ステップＳ５１）。格子点は、例えば、拡大すべき画素と画素との間に補完するための中間点である。そして、その計算された格子点の周囲４画素が抽出される（ステップＳ５２）。周囲４画素は、格子点の補間の計算に用いられる。そして、周囲４画素が正常画素のみであるか否かが判別される（ステップＳ５３）。
【０２０５】
周囲４画素が正常画素のみでない場合（ステップＳ５３；ＮＯ）、周囲４画素が傷ゴミ領域内のみに存在するか否かが判別される（ステップＳ５４）。周囲４画素が傷ゴミ領域内のみに存在しない場合（ステップＳ５４；ＮＯ）、その周辺４画素は、正常画素及び傷ゴミ領域が混在する領域としての混在領域にあるとされる（ステップＳ５５）。そして、混在領域内の画素同士は信号の格差が大きいとみなすことができ、平滑性の強い補間方式を利用して、注目画素に対して拡大縮小が実行される（ステップＳ５６）。平滑性の強い補間方式によって、傷ゴミ処理境界の目立ちにくい画像処理結果が得られる。
【０２０６】
周囲４画素が正常画素のみである場合（ステップＳ５３；ＹＥＳ）、又は周囲４画素が傷ゴミ領域内のみに存在する場合（ステップＳ５４；ＹＥＳ）、周囲４画素が正常画素領域又は傷ゴミ領域の何れか一方に含まれ、その領域内画素同士は信号の格差が小さいとみなすことができ、平滑性の弱い補間方式を利用して、注目画素に対して拡大縮小が実行される（ステップＳ５７）。
【０２０７】
そして、ステップＳ５１において可視画像情報全面の拡大／縮小に必要な全格子点が抽出（計算）されたか否かが判別される（ステップＳ５８）。全格子点が抽出された場合（ステップＳ５８；ＹＥＳ）、拡大縮小処理が終了される。全格子点が抽出されていない場合（ステップＳ５８；ＮＯ）、ステップＳ５１に移行され、未抽出の格子点が次の格子点として計算される。拡大縮小処理の終了後、次のステップ（図３のステップＳ６）に移行される。
【０２０８】
拡大縮小処理における補間方法については、例えば、特開２００２−２６２０９４に記載の補間方法を用いることができる。その中で、変倍時のモアレなどが発生しやすいわずかな変倍率の拡大／縮小には、平滑化効果の大きな近傍９点の画素データを用いた線形補間方法が適用され、その他には、平滑化効果の比較的小さな、近傍４点の画素データを用いた補間方法が適用されている。即ち、本実施の形態において、前者を傷ゴミ補正領域及び正常画素領域の混在領域個所に適用し（ステップＳ５６に対応）、後者をその他の領域に適用すること（ステップＳ５７に対応）で好ましい結果が得られる。
【０２０９】
次に、図２７を参照して鮮鋭性粒状性補正処理を説明する。先ず、可視画像情報中の一画素が注目画素として抽出される（ステップＳ７１）。そして、注目画素が正常画素であるか否かが判別される（ステップＳ７２）。注目画素が正常画素である場合（ステップＳ７２；ＹＥＳ）、鮮鋭性強調が「強」で、粒状性補正が「中」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされる（ステップＳ７３）。
【０２１０】
そして、ステップＳ７１において可視画像情報内の全画素が注目画素として抽出されたか否かが判別される（ステップＳ７４）。全画素が抽出された場合（ステップＳ７４；ＹＥＳ）、鮮鋭性粒状性補正処理が終了される。全画素が抽出されていない場合（ステップＳ７４；ＮＯ）、ステップＳ７１に移行され、未抽出の画素が次の抽出画素として抽出される。鮮鋭性粒状性補正処理の終了後、次のステップ（図３のステップＳ８）に移行される。
【０２１１】
注目画素が正常画素でない場合（ステップＳ７２；ＮＯ）、注目画素が周辺領域にあるか否かが判別される（ステップＳ７５）。周辺領域は、可視画像情報中の傷ゴミ処理された領域と、されていない領域との境界に存在する領域である。注目画素が周辺領域内である場合（ステップＳ７５；ＹＥＳ）、鮮鋭性強調が「中」で、粒状性補正が「強」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされ（ステップＳ７６）、ステップＳ７４に移行される。周辺領域の鮮鋭性強調を強くすると、傷ゴミ領域の境界の境目が見やすくなる危険があるため、若干の加減がなされる。あわせて粒状性補正がやや強くされる（粒状が抑制される）。
【０２１２】
注目画素が周辺領域内でない場合（ステップＳ７５；ＮＯ）、注目画素が傷ゴミ領域にあるとされる（ステップＳ７７）。注目画素が傷ゴミ領域にある場合に、正常画素と異なる補正をすることで、全体的に均質化された、傷ゴミ処理の痕跡が目立ちにくい処理結果が得られる。傷ゴミ領域に付いてはさらに、その処理方法によって場合分けすることが好ましい。よって、注目画素に傷ゴミ補正処理がなされているか、傷ゴミ補間処理がなされているかが判別される（ステップＳ７８）。傷ゴミ補正処理がなされている場合（ステップＳ７８；補正処理）、鮮鋭性強調が「弱」で、粒状性補正が「強」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされ（ステップＳ７９）、ステップＳ７４に移行される。例えば、傷ゴミ補正処理がなされた場合は、減衰した信号を増強復元するので、ノイズ抑制のため、当該領域の粒状性補正を通常より強くする（粒状抑制を強く掛ける）。あわせて、鮮鋭性強調の程度は弱くする。
【０２１３】
傷ゴミ補間処理がなされている場合（ステップＳ７８；補間処理）、鮮鋭性強調が「強」で、粒状性補正が「弱」に設定されて、その設定値に基づいて注目画素に鮮鋭性強調及び粒状性補正がなされ（ステップＳ８０）、ステップＳ７４に移行される。傷ゴミ補間処理がなされた場所では、周辺画素を参照し、重み付け平均するステップを有する場合が多く、ノイズ成分が減少している。このため、粒状性補正は弱く施され、鮮鋭性強調は相対的に強く施される。
【０２１４】
以上述べた鮮鋭性強調及び粒状性補正の関係は、一例としての傷ゴミ補正処理及び傷ゴミ補間処理を仮定した場合の説明であり、各補正の強弱はこれに限定されるものではなく、傷ゴミ補正及び補間処理の手法を切り替えれば、適宜調整されるべきものである。
【０２１５】
次に、画像取得部１４における画像取得を透過原稿スキャナ１４２に代えて反射原稿スキャナ１４１で行う場合を説明する。本実施の形態のうちの図１０の傷ゴミ補間処理、図１４の傷ゴミ補正補間処理、図２５の第３の傷ゴミ補正処理は、画像補正あるいは補間に赤外画像情報を必要とせず、傷ゴミ候補領域を何らかの方法で求められれば良い。そこで、図２８を参照して、赤外画像情報を取得しない構成として、図１の画像取得部１４の反射原稿スキャナ１４１を説明する。図２８は、反射原稿スキャナ１４１の内部構成を示す図である。
【０２１６】
図２８に示すように、反射原稿スキャナ１４１は、写真原稿（光沢印画紙など）Ｂの光源４１，４２と、光源４１，４２から出射された光を透過及び反射させるハーフミラー４３，４４と、光を結像及び受光してアナログ信号を得るＣＣＤ４５〜４７と、ＣＣＤ４５〜４７から出力されたアナログ信号をそれぞれ増幅するアンプ４８〜５０と、アンプ４８〜５０から出力されたアナログ信号をデジタル信号にそれぞれ変換するＡ／Ｄコンバータ５１〜５３とを備える。
【０２１７】
また反射原稿スキャナ１４１は、光源４１，４２の光出射とＣＣＤ４５〜４７の光受光とのタイミングを制御するタイミング制御部５４と、Ａ／Ｄコンバータ５２から出力された画像情報のうち、光源４１，４２から出射されたそれぞれの光に対応する２つの画像情報を比較する画像比較部５５と、画像比較部５５から出力された比較結果から元画像情報を形成する元画像形成部５６と、Ａ／Ｄコンバータ５１，５３からそれぞれ出力された２つの画像情報から欠陥候補領域を決定する欠陥候補領域決定部５７と、欠陥候補領域決定部５７から出力される欠陥候補領域から欠陥領域を特定し、その欠陥領域を、元画像形成部５６から出力される元画像情報とともに出力する欠陥領域特定部５８とを備えて構成される。
【０２１８】
また、欠陥領域特定部５８から出力される欠陥領域及び元画像情報は、画像処理部１１内の補正補間処理部６１に送信される。写真原稿Ｂは、均一の光沢を示しているものであれば良い。
【０２１９】
次に、反射原稿スキャナ１４１の動作を簡単に説明する。先ず、写真原稿Ｂは、２つの光源４１，４２で照射される。光源４１，４２は、タイミング制御部５４によって交互に発光する。ＣＣＤ４６は両方の光源の画像を採取する。ＣＣＤ４７は、光源４１が点燈しているタイミングで、ハーフミラー４３を透過しハーフミラー４４で反射された光を採取する。ＣＣＤ４５は、光源４２が点燈しているタイミングで、ハーフミラー４４を透過しハーフミラー４３で反射された光を採取する。
【０２２０】
ＣＣＤ４６で採取された画像情報は、画像比較部５５及び元画像形成部５６において、光源間差が比較され、輝度差のある場合は暗いほうの画像情報が重視され、１枚の画像情報を元画像情報として形成される。このようにすることで、光沢印画紙（写真原稿Ｂ）の微細な凹凸による反射や、絹目印画紙（写真原稿Ｂ）の光沢反射を除去することができ、好ましいコピー結果が得られる。
【０２２１】
一方、ＣＣＤ４５，４７で採取された画像情報は、欠陥画像候補領域決定部５７において、所定の画像信号値の範囲に収まらない画像領域をＣＣＤ４５，４７が各々抽出し、両者の出力画像領域が一致した場合に傷、ゴミなどの欠陥候補領域とされる。欠陥候補領域は、欠陥領域特定部５８により、ノイズ処理が実行され、その後にオープニング処理によってサイズ拡大され、欠陥領域とされる。
【０２２２】
補正補間処理部６１は、欠陥領域特定部５８から元画像情報及び欠陥領域の情報を受信し、その元画像情報及び欠陥領域情報に基づいて、本実施の形態で説明したような傷ゴミ補正処理、傷ゴミ補間処理がなされる。
【０２２３】
以上、本実施の形態の傷ゴミ処理によれば、赤外画像情報を用いて傷ゴミ領域を求め、可視画像情報への傷ゴミ領域の影響を傷ゴミ補正し、その補正の良否を評価し、その評価結果に応じて、可視画像情報に傷ゴミ補間処理を行う。このため、例えばフィルムの損傷による画像欠損が発生し、赤外画像情報による信号強度の補正が逆補正となってしまう不具合にも有効に傷ゴミ補間処理して傷ゴミ領域を除去できる。また、赤外域と可視域との画像情報の若干のずれが、画面の一部分で発生している場合にも、そのずれが発生した画像領域の補正結果を評価することができるので、その画像領域に応じた傷ゴミ補間処理を行うことができる。また、本実施の形態の傷ゴミ補正補間処理によれば、補正済みと補正前との可視画像情報における、傷ゴミ領域とその周辺領域との代表値を比較して補正結果が評価されるので、補正結果の評価が簡単な手法で良好に実施できる。
【０２２４】
また、本実施の形態の傷ゴミ処理によれば、傷ゴミ補正処理の後に傷ゴミ補間処理を行い、補間処理に用いることのできる周辺画像情報としての正常画素を補正処理により最大限に増やすことができるので、より確実な補間処理を実行して補間結果を得ることができる。また、例えば、フィルムの損傷による不具合にも有効に対処でき、さらに、補正した正常画素も用いて補間を行うから、精度の高い画像処理結果が得られる。
【０２２５】
また、本実施の形態の拡大縮小処理によれば、正常画素領域と傷ゴミ領域と混在領域との分類情報に応じて、拡大縮小の補間処理を切り替えて実行するので、傷ゴミ処理の痕が残りにくい、より自然な画像処理結果が得られる。
【０２２６】
また、本実施の形態の鮮鋭性粒状性補正処理によれば、正常画素領域、周辺領域及び傷ゴミ領域の分類に加えて、傷ゴミ領域領域の補正対象領域と補間対象領域とに応じて、鮮鋭強調及び粒状性補正処理を実行するので、傷ゴミ処理の痕が残りにくい、さらに自然な画像処理結果が得られる。
【０２２７】
また、第２の傷ゴミ補正処理によれば、傷ゴミ領域の影響の大きさを、注目画素の領域サイズ情報に応じて評価し、その評価結果に基づき可視画像情報を傷ゴミ補正するので、通常想定される画像情報（正常画素数＞＞異常画素数）において、注目画素に与える傷ゴミ領域の影響の大きさを正しく評価して、その評価結果に応じた修正値に基づいて補正することができる。したがって、赤外画像情報に残存収差やフレア成分が残っていたとしても、これらが赤外画像情報に及ぼす影響を補償し、好ましい画像処理が実現できる。また、可視画像情報から仮の可視画像補正値を求め、赤外画像補正値の可視画像補正値による除値と領域サイズ情報との関係を示す代表曲線を取得する。このため、代表曲線を用いて領域サイズ情報により修正値を決定して、その修正値及び赤外画像補正値を用いて可視域の画像情報を傷ゴミ補正でき、未知の画像情報取得元（フィルムなど）に関しても安定した傷、ゴミ除去効果が得られる。
【０２２８】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理システム１０の一例であり、これに限定されるものではない。
【０２２９】
【発明の効果】
請求項１、１１又は２１に記載の発明によれば、赤外域の画像情報を用いて画像欠陥領域を取得し、可視域の画像情報への画像欠陥領域の影響を補正し、その補正の良否を評価し、その評価結果に応じて、可視域の画像欠陥領域の処理を行う。このため、例えば画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合や、赤外域と可視域との画像情報の若干のずれが、画面の一部分で発生している不具合にも、その不具合が発生した画像領域の補正結果を評価することができるので、その画像領域に応じた処理を選択して実行することにより、有効に対処できる。
【０２３０】
請求項２、１２又は２２に記載の発明によれば、補正済みと補正前との可視域の画像情報における、画像欠陥領域とその周辺領域との代表値を比較して補正結果が評価されるので、補正結果の評価が簡単な手法で良好に実施できる。
【０２３１】
請求項３、１３又は２３に記載の発明によれば、赤外域の画像情報の画像欠陥領域内のテクスチャ構造の特徴に応じて、可視域の画像情報に対して好ましい補正方法を選択して実行できる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも、好ましい補正を選択して実行し、有効に対処できる。また、赤外域の画像情報の残存収差や、赤外域と可視域との画像情報の間に色ずれが存在してもこれに対応した良好な画像処理が可能になる。
【０２３２】
請求項４、１４又は２４に記載の発明によれば、補間処理に用いることのできる周辺画像情報としての正常画素を補正処理により最大限に増やすことができるので、より確実な補間処理を実行して補間結果を得ることができる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも有効に対処でき、さらに、補正した正常画素も用いて補間を行うから、精度の高い画像処理結果が得られる。
【０２３３】
請求項５、１５又は２５に記載の発明によれば、補正及び／又は補間した第１の画素の属する領域と補正及び／又は補間していない第２の画素の属する領域と第３の画素の属する領域との分類情報に応じて、各種行われる後処理を切り替えて実行するので、欠陥画素の補正の痕が残りにくい、より自然な画像処理結果が得られる。
【０２３４】
請求項６、１６又は２６に記載の発明によれば、分類情報に加えて、第１の画素の画像領域の補正対象の第１のグループと補間対象の第２のグループとのグループ情報に応じて、各種行われる後処理を切り替えて第１の画素に実行するので、補正の痕が残りにくい、さらに自然な画像処理結果が得られる。
【０２３５】
請求項７、１７又は２７に記載の発明によれば、補間処理に用いることのできる周辺画像情報としての正常画素を補正処理により最大限に増やすことができるので、より確実な補間処理を実行して補間結果を得ることができる。また、例えば、画像情報取得元の画像記録層の欠損による画像欠損が発生し、赤外域の画像情報による信号強度の補正が逆補正となってしまう不具合にも有効に対処できる。さらに、補正した正常画素も用いて補間を行うから、精度の高い画像処理結果が得られる。
【０２３６】
請求項８、１８又は２８に記載の発明によれば、画像欠陥の領域に含まれない正常画素が有する信号値勾配情報に基づいて、画像欠陥の周辺領域の画像構造を評価し、その評価結果に基づいて補間処理するので、例えば、可能な範囲でエッジなどの画像構造に関する情報が復元でき、補間処理に用いるアルゴリズムがより効果的に機能し、さらにより確実な補間処理を実行して補間結果を得ることができる。
【０２３７】
請求項９、１９又は２９に記載の発明によれば、画像欠陥領域の影響の大きさを、注目画素を通る最短線分に応じて評価し、その評価結果に基づき可視域の画像情報を修正補正するので、通常想定される画像情報（正常画素数＞＞異常画素数）において、注目画素に与える画像欠陥領域の影響の大きさを正しく評価して、その評価結果に応じた修正値に基づいて補正することができる。したがって、赤外域の画像情報に残存収差やフレア成分が残っていたとしても、これらが赤外域の画像情報に及ぼす影響を補償し、好ましい画像処理が実現できる。
【０２３８】
請求項１０、２０又は３０に記載の発明によれば、可視域の画像情報から仮の可視画像補正値を求め、赤外域の補正値の可視画像補正値による除値と線分距離情報との関係を示す代表曲線を取得する。このため、代表曲線を用いて線分距離情報により修正値を決定し、その修正値と赤外域の補正値とを用いて可視域の画像情報を補正でき、未知の画像情報取得元に関しても安定した傷、ゴミ除去効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る実施の形態の画像処理システム１０を示すブロック図である。
【図２】図１の透過原稿スキャナ１４２の構成を示す図である。
【図３】画像処理を示すフローチャートである。
【図４】傷ゴミ処理を示すフローチャートである。
【図５】各波長域の信号の吸収を示す図である。
【図６】傷ゴミ候補領域検出処理を示すフローチャートである。
【図７】傷ゴミ領域決定処理を示すフローチャートである。
【図８】第１の傷ゴミ補正処理を示すフローチャートである。
【図９】第２のゴミ補正処理を示すフローチャートである。
【図１０】傷ゴミ補間処理を示すフローチャートである。
【図１１】注目画素の補間処理候補選択を示す図である。
【図１２】注目画素の補間処理候補選択の３つの様態例を示す図である。
【図１３】注目画素の２つの方向特性例を示す図である。
【図１４】傷ゴミ補正補間処理を示すフローチャートである。
【図１５】傷ゴミ領域及びその周辺領域を示す図である。
【図１６】ウェーブレット関数を示す図である。
【図１７】１レベルのウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図１８】２次元信号における１レベルのウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図１９】入力信号Ｓ０が、レベル１〜３の直交ウェーブレット変換又は双直交ウェーブレット変換により信号分解される過程を示す模式図である。
【図２０】レベル１のウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図２１】入力信号Ｓ０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波数帯域成分Ｗ・γの波形を示す図である。
【図２２】２次元信号における１レベルの二項ウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図２３】２次元信号における１レベルの二項ウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図２４】入力信号Ｓ０に対する二項ウェーブレット変換から、画像劣化が補正された信号Ｓ０’を得るまでの処理を示すシステムブロック図である。
【図２５】第３の傷ゴミ補正処理を示すフローチャートである。
【図２６】拡大縮小処理を示すフローチャートである。
【図２７】鮮鋭性粒状性補正処理を示すフローチャートである。
【図２８】反射原稿スキャナ１４１の内部構成を示す図である。
【符号の説明】
１０…画像処理システム
１１…画像処理部
１２…画像表示部
１３…指示入力部
１３１…接触センサ
１３２…マウス
１３３…キーボード
１４…画像取得部
１４１…反射原稿スキャナ
４１，４２…光源
４３，４４…ハーフミラー
４５〜４７…ＣＣＤ
４８〜５０…アンプ
５１〜５３…Ａ／Ｄコンバータ
５５…画像比較部
５６…元画像形成部
５７…欠陥候補領域決定部
５８…欠陥領域特定部
Ｂ…写真原稿
６１…補間補正処理部
１４２…透過原稿スキャナ
３１…光源部
３２…拡散部材
３３…フィルムキャリア
３４…ローラ
３５…光学レンズ
３６ＩＲ，３６Ｂ，３６Ｒ…ダイクロイックフィルタ
３７ＩＲ，３７Ｂ，３７Ｇ，３７Ｒ…ラインＣＣＤ
３８ＩＲ，３８Ｂ，３８Ｇ，３８Ｒ…アナログアンプ
３９ＩＲ，３９Ｂ，３９Ｇ，３９Ｒ…Ａ／Ｄコンバータ
４０…画像メモリ
Ａ…フィルム
１４３…メディアドライバ
１４４…情報通信Ｉ／Ｆ
１５…画像ストレージ部
１６…銀塩露光プリンタ
１７…ＩＪプリンタ
１８…各種画像記録メディア書込部
２１…印刷物
２２…現像済みフィルム
２３…画像メディア
２４…通信手段
【図１】
2004318693.tif 000022
【図２】
2004318693.tif 000023
【図３】
2004318693.tif 000024
【図４】
2004318693.tif 000025
【図５】
2004318693.tif 000026
【図６】
2004318693.tif 000027
【図７】
2004318693.tif 000028
【図８】
2004318693.tif 000029
【図９】
2004318693.tif 000030
【図１０】
2004318693.tif 000031
【図１１】
2004318693.tif 000032
【図１２】
2004318693.tif 000033
【図１３】
2004318693.tif 000034
【図１４】
2004318693.tif 000035
【図１５】
2004318693.tif 000036
【図１６】
2004318693.tif 000037
【図１７】
2004318693.tif 000038
【図１８】
2004318693.tif 000039
【図１９】
2004318693.tif 000040
【図２０】
2004318693.tif 000041
【図２１】
2004318693.tif 000042
【図２２】
2004318693.tif 000043
【図２３】
2004318693.tif 000044
【図２４】
2004318693.tif 000045
【図２５】
2004318693.tif 000046
【図２６】
2004318693.tif 000047
【図２７】
2004318693.tif 000048
【図２８】
2004318693.tif 000049