(57)【特許請求の範囲】
【請求項１】
画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段と、
欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択する決定手段と、
前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段と、
を含む画像処理装置。
【請求項２】
画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段と、
欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光及び前記複数の波長域の光の何れについても、前記欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の輝度が変化するように画像情報を修正する輝度調整方法を選択する決定手段と、
前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段と、
を含む画像処理装置。
【請求項３】
前記決定手段は、前記欠陥部の特徴量として、前記画像記録材料に非可視光を照射したときの前記欠陥部付近における非可視光の透過又は反射光量の分布と、前記画像記録材料に可視光を照射したときの前記欠陥部付近における可視光の透過又は反射光量の分布と、の相関、及び、前記欠陥部付近における非可視光の透過又は反射光量、の少なくとも一方を用いて、前記適用すべき修正方法の選択又は前記適用範囲の決定を行うことを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記修正手段は、前記補間方法を適用して欠陥部の修正を行うにあたり、画像情報が表す画像中に存在する欠陥部に対し、該欠陥部内から互いに異なる複数の方向に沿って画像特徴量を各々演算し、前記欠陥部に対して画像上で所定の方向に存在する領域の情報から前記欠陥部を修正するための修正値を補間によって求めることを前記複数の方向について各々行い、前記演算した各方向毎の画像特徴量に基づいて、前記各方向毎に演算した修正値から最終修正値を求め、前記画像情報に対し、前記演算した最終修正値を用いて前記欠陥部の修正を行うことを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項５】
前記修正手段は、前記画像特徴量として、所定の方向に沿った前記画像の濃度変化、所定の方向に沿って一定距離内に前記画像上に存在している欠陥画素の数、及び、所定の方向に沿って前記画像を辿ったときに欠陥部に属さない正常画素が出現する迄の距離、の少なくとも何れかを、前記複数の方向について各々演算することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記修正手段は、前記画像特徴量及び前記修正値の少なくとも一方の演算に際し、所定方向に沿って前記画像を辿ったときに欠陥部に属さない正常画素が一定数出現する迄の範囲で前記画像特徴量又は前記修正値を演算することを、前記複数の方向について各々行うことを特徴とする請求項４記載の画像処理装置。
【請求項７】
前記修正手段は、前記輝度調整方法を適用して欠陥部の修正を行うにあたり、前記検出手段によって検出された前記画像の欠陥部に対し、前記画像記録材料に非可視光を照射したときの前記欠陥部付近における非可視光の透過又は反射光量と、画像記録材料における可視光と非可視光の屈折率の相違に起因する可視光及び非可視光の透過又は反射光量の比率とに基づいて、前記欠陥部を修正するための輝度変更量を演算し、前記画像情報が表す画像の前記欠陥部の輝度が、前記演算した輝度変化量だけ変化するように画像情報を修正することを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項８】
前記修正手段は、画像記録材料における可視光と非可視光の屈折率の相違に起因する可視光及び非可視光の透過又は反射光量の比率を表す特徴量として、前記画像記録材料に非可視光を照射したときの前記欠陥部付近における非可視光の透過又は反射光量を表すデータをハイパスフィルタに入力することで得られる第１の高周波成分データと、画像記録材料に可視光を照射したときの欠陥部付近における可視光の透過又は反射光量を表すデータをハイパスフィルタに入力することで得られる第２の高周波成分データと、の比を演算するか、又は画像記録材料の種類に基づいて前記特徴量を取得することを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出し、
欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択し、
前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記選択した修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定した適用範囲内で各々適用して欠陥部の修正を行う
画像処理方法。
【請求項１０】
コンピュータを、
画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段、
欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択する決定手段、
及び、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段
として機能させるためのプログラムが記録された記録媒体。
【請求項１１】
コンピュータを、
画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段、
欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光及び前記複数の波長域の光の何れについても、前記欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の輝度が変化するように画像情報を修正する輝度調整方法を選択する決定手段、
及び、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段
として機能させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、方法及び記録媒体に係り、特に、画像情報が表す画像中の欠陥部を修正する画像処理装置、該画像処理装置に適用可能な画像処理方法、及びコンピュータを画像処理装置として機能させるためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
写真フィルムは、取扱い方によっては乳剤面やバック面（乳剤面の裏面）に傷が付くことがあるが、写真フィルムの画像記録領域内に相当する箇所に傷が付いていた場合、該写真フィルムに記録されている画像を出力（印画紙等の画像記録材料に記録、或いはディスプレイ等の表示手段に表示）したとすると、傷の程度にもよるが、写真フィルムに付いた傷が、低濃度の筋や白い筋等の欠陥部として出力画像上で明瞭に視認されることが多い。また、写真フィルムの表面に塵埃等の異物が付着していた場合にも、該異物が欠陥部として明瞭に視認される。
【０００３】
写真フィルムに光を照射し写真フィルムを透過した光を印画紙に照射することで印画紙に画像を露光記録する面露光タイプの写真焼付装置では、写真フィルムの傷付き対策として、光源と写真フィルムとの間に拡散板を配置し、拡散板によって散乱された光を写真フィルムに照射している。しかし、上記技術では出力画像（印画紙に露光記録した画像）中の欠陥部を消去することは困難であり、欠陥が若干軽減される（目立たなくなる）に過ぎない。
【０００４】
また、写真フィルムに記録された画像をＣＣＤ等の読取センサによって読み取る構成の画像読取装置に適用可能な技術として、特開平１１−７５０３９号公報には、可視光域３波長と、非可視光域（例えば赤外域や紫外域）１波長を含む少なくとも４波長以上の波長域で写真フィルムを各々読み取り、非可視光域での読み取りによって得られた情報に基づいて、可視光域での読み取りによって得られた画像情報を補正する技術が開示されている。
【０００５】
可視光域の光は、写真フィルムに記録されている画像濃度に応じて透過光量が変化すると共に、写真フィルムに傷や異物が付いている箇所でも傷や異物によって光が一部屈折されたり反射されることで透過光量が変化する。一方、非可視光域の光は、写真フィルムに傷や異物が付いている箇所では透過光量が変化するものの、写真フィルムに記録されている画像濃度の影響は受けない。
【０００６】
従って、前記公報に記載の技術によれば、非可視光域の光の透過光量の変化から写真フィルムに付いている傷や異物を検出し、写真フィルムに付いている傷や異物に起因する可視光域の光の透過光量の変動を補正すること、すなわち写真フィルムに付いている傷や異物に起因する画像（可視光域での読み取りによって得られた画像情報が表す画像）の欠陥部を修正することが可能となる。
【０００７】
【発明が解決しようとする課題】
ところで、欠陥部を修正するための修正方法（修正アルゴリズム）としては種々の修正方法が考えられ、例えば欠陥部の周囲の領域の情報から欠陥部の輝度及び濃度を補間によって決定して欠陥部を修正する修正方法（補間方法）、欠陥部領域の輝度を調整することで画像の欠陥部を修正する修正方法（輝度調整方法）、欠陥部やその付近の領域における空間周波数の高周波成分を減じ欠陥部をぼかすことで欠陥部を修正する修正方法（ぼかし方法）等が考えられる。
【０００８】
しかしながら、上記何れの修正方法も何らかの欠点を有している。すなわち補間方法は、欠陥部内及び該欠陥部に隣接する周囲領域において元の画像の濃度が滑らかかつ連続的に変化していることを前提として、前記周囲領域における濃度変化から補間を行うものであるので、例えば欠陥部内において本来は濃度が複雑に変化している等の場合に補間演算の精度（元の画像の濃度の再現精度）が低く、違和感を与える不適正な修正結果となることがある。
【０００９】
また、補間方法による欠陥部の修正では、欠陥部の周囲の領域のうち何れの方向（補間方向）に存在する領域の情報を用いて補間を行うかによって修正精度が大きく相違するが、欠陥部を適正に修正できる適正な補間方向は欠陥部によって異なるので、修正対象の欠陥部によって修正精度が大きくばらつく、という欠点もある。
【００１０】
また、例えば写真フィルムの乳剤面側に傷が付いていたり、或いは写真フィルムに異物が付着していることに起因して生ずる欠陥部は、写真フィルムに記録された画像を読み取ることによって得られる画像データ上での前記欠陥部の色が、写真フィルムに撮影記録された被写体における前記欠陥部に相当する部分の色と相違していることが多い。これに対し、輝度調整方法は欠陥部の色を変えずに輝度のみを調整するものであるので、上記のような欠陥部を精度良く修正することは困難である。
【００１１】
また、輝度調整方法では、欠陥部付近における非可視光域の光の透過光量の変化に基づいて輝度調整量を決定するが、写真フィルムに付いている傷等による屈折率が光の波長によって相違している等の理由により、欠陥部付近における非可視光域の光の透過光量の変化が、欠陥部付近における傷等に起因する可視光域の光の透過光量の変化と若干相違していることがあり、非可視光域の光の透過光量の変化に基づいて決定した輝度調整量に従って欠陥部を修正したとしても、例えば前記透過光量の変化の相違が微小な欠陥部として残ることがあった。
【００１２】
また、ぼかし方法は欠陥部やその付近の領域における空間周波数の高周波成分を減じて欠陥部をぼかすものであるので、深い傷や比較的サイズの大きな異物の付着に起因する欠陥部の修正には適していない。すなわち、上記のような欠陥部を修正するためには欠陥部をぼかす度合いを大きくする必要があり、画像の画質低下を招くことがある。このように、上述した種々の修正方法の何れを適用したとしても、互いに異なる特徴を備えた様々な欠陥部の各々を精度良く修正することは困難であった。
【００１３】
一方、デジタルスチルカメラ（ＤＳＣ：以下単にデジタルカメラという）が内蔵しているＣＣＤ等の光電変換素子の多数の光電変換セルの中に、入射光量と出力信号との関係が所期の関係と異なっているセル（所謂欠陥画素）が存在していた場合にも、被写体を撮像することで得られる画像データが表す画像に、写真フィルムに付いた傷や異物に起因する欠陥部と同様の欠陥部が生ずる。この欠陥部も写真フィルムに付いた傷や異物に起因する欠陥部と同様に修正可能であるが、この修正に前記何れの修正方法を適用したとしても、様々な欠陥部の各々を精度良く修正することは困難であった。
【００１４】
本発明は上記事実を考慮して成されたもので、様々な欠陥部を各々精度良く修正することが可能な画像処理装置、方法及び記録媒体を得ることが第１の目的である。
【００１７】
【課題を解決するための手段】
前述したように、画像の欠陥部を修正するための複数種の修正方法は何らかの欠点を有しているが、本願発明者は、これらの修正方法のうち、欠陥部修正に特に有効な補間方法及び輝度補正方法についても、適正に修正可能な欠陥部が互いに相違していると共に、補間方法によって適正な修正可能な欠陥部と輝度修正方法によって適正に修正可能な欠陥部が互いに異なる特徴を有している点に着目し、画像中の個々の欠陥部毎に、その画像特徴量に基づいて、補間方法及び輝度修正方法を選択的に適用するか、或いは補間方法及び輝度修正方法の各々の適用範囲を適正に定めて組み合わせて適用することで、各種の欠陥部を精度良く修正できることに想到し、請求項１の発明を成すに至った。
【００１８】
上記に基づき、第１の目的を達成するために請求項１記載の発明に係る画像処理装置は、画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段と、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択する決定手段と、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段と、を含んで構成されている。
【００１９】
請求項１記載の発明に係る画像処理装置は、具体的には、例えば写真感光材料等の画像記録材料に光を照射し、前記画像記録材料を透過又は反射した光を、多数の光電変換セルを備えた光電変換素子によって光電変換する（読み取る）ことで前記画像記録材料に記録された画像の画像情報を取得し、各種の補正（例えば暗補正やシェーディング補正等）や各種の画像処理（例えば色補正や濃度補正等）を行って出力する構成であってもよいし、画像記録材料に記録された画像を読み取る画像読取装置、或いは該画像読取装置から画像情報を取得する構成の装置を請求項１の発明に係る画像処理装置として用いてもよい。
【００２０】
また請求項１の発明に係る画像処理装置は、画像が記録された画像記録材料に非可視光を照射し、画像記録材料を透過又は反射した非可視光を光電変換した結果から画像の欠陥部を検出する検出手段を備えている。
【００２１】
また、請求項１の発明に係る決定手段は、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における補間方法及び輝度調整方法の各々の適用範囲を決定すると共に、画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択する。
【００２２】
例えば元の色の情報が残っている欠陥部は、輝度調整方法や他の類似の修正方法によって精度良く修正することができるが、元の色が残っていない欠陥部の修正には補間方法や他の類似の修正方法が適している。欠陥部に元の色の情報が残っていれば欠陥部付近における各成分色毎の濃度変化の相関が強く、欠陥部に元の色の情報が残っていなければ前記相関は弱いことが多いので、欠陥部付近における各成分色毎の濃度変化の相関に基づいて、上記のように適正な修正方法が異なる欠陥部の切り分けを行うことができる。
【００２３】
また、例えば周囲の領域における濃度の変化が緩やかな欠陥部は、補間方法や他の類似の修正方法によって精度良く修正することができるが、欠陥部の周囲の領域に濃度が急激に変化している箇所（所謂エッジ）やテクスチャ（細かな模様パターンが一様に分布している状態）が存在していた場合の欠陥部の修正は、欠陥部に元の色が残っているか否かにも依存するが輝度調整方法が適している。適正な修正方法が異なる上記のような欠陥部は、欠陥部の周囲の領域における濃度の分布に基づいて切り分けを行うことができる。
【００２４】
更に、画像中の主要部領域（例えば人物の顔に相当する領域）は、画像の鑑賞等において注目される領域であるので、欠陥部が主要部領域内に位置している場合や、欠陥部の一部が主要部領域と重複しておりかつ重複割合が高い場合には、該欠陥部に対する修正結果が不適正となることは好ましくなく、欠陥部に元の色が残っているか否かにも依存するが輝度調整方法が適している。上記のような欠陥部は、欠陥部が画像中の主要部領域内に存在しているか否か、或いは欠陥部の主要部領域との重複割合に基づいて抽出できる。
【００２５】
このように、請求項１の発明に係る決定手段は、欠陥部付近における各成分色毎の濃度変化の相関、欠陥部の周囲の領域における濃度の分布、欠陥部が主要部領域内に存在しているか否か、及び、欠陥部の主要部領域との重複割合の少なくとも１つを用いて、適用すべき修正方法の選択又は適用範囲の決定を行うので、修正方法の選択又は適用範囲の決定を精度良く行うことができる。欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、補間方法と輝度調整方法の何れかを選択するか、又は、欠陥部の修正における補間方法及び輝度調整方法の各々の適用範囲を決定するので、欠陥部が適正に修正されるように、修正方法の選択又は適用範囲の決定を精度良く行うことができる。
【００２６】
そして、請求項１の発明に係る修正手段は、画像情報に対し、補間方法及び輝度調整方法のうち決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、補間方法及び輝度調整方法を決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行うの修正方法を決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行うので、様々な欠陥部（例えば適正に修正可能な修正方法が異なる欠陥部）を各々精度良く修正することが可能となる。
【００２７】
ところで、例えば画像記録材料が、光透過性を有する支持体の一方の面に互いに異なる複数種の色素層が各々形成された透過原稿（例えば写真フィルム）である等の場合、画像記録材料に傷が付いている箇所での透過光量は一般に光の波長に拘わらず低下するが、傷によって画像記録材料の色素層が損傷を受けているときには、損傷を受けた色素層に対応する波長域の光の透過光量は、損傷を受けた箇所の周囲の箇所における透過光量よりも増大する。そして、上記のように傷によって色素層が損傷を受けている場合、傷によって生ずる欠陥部に元の色の情報が残っていないので、このような欠陥部の修正には補間方法や他の類似の修正方法が適している。
【００２８】
上記に基づき請求項１記載の発明に係る決定手段は、画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択する。従って請求項１記載の発明は、修正方法選択対象の欠陥部が、画像記録材料に付いた傷によって色素層が損傷を受けている箇所に対応する欠陥部か否かを正確に判定することができ、色素層に損傷を与えている傷に起因する欠陥部を精度良く修正することができる、という効果も有している。
【００２９】
請求項２記載の発明に係る画像処理装置は、画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段と、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光及び前記複数の波長域の光の何れについても、前記欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の輝度が変化するように画像情報を修正する輝度調整方法を選択する決定手段と、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段と、を含んで構成されている。
【００３０】
請求項２記載の発明は、請求項１記載の発明と同様の検出手段及び修正手段を備え、決定手段は、請求項１記載の発明と同様に、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定する。従って、請求項２記載の発明についても、請求項１記載の発明と同様に、様々な欠陥部（例えば適正に修正可能な修正方法が異なる欠陥部）を各々精度良く修正することが可能となる。
【００３１】
また、欠陥部に対応する画像記録材料上の所定箇所において光の波長に拘わらず透過光量の低下が生ずる場合、前記所定箇所には色素層に損傷を与えない傷が付いているか、或いは異物が付着していることが考えられるが、例えば付着している異物を除去した後の画像記録材料に、光の波長に拘わらず透過光量が低下する箇所が存在していた場合、該箇所には色素層に損傷を与えない傷が付いていると推測され、上記のような傷によって生ずる欠陥部には元の色の情報が残っているので、該欠陥部の修正には輝度調整方法や他の類似の修正方法が適している。
【００３２】
上記に基づき請求項２記載の発明に係る決定手段は、画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光及び前記複数の波長域の光の何れについても、欠陥部における透過光量が欠陥部の周囲の領域における透過光量より低い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の輝度が変化するように画像情報を修正する輝度調整方法を選択する。従って請求項２記載の発明は、修正方法選択対象の欠陥部が、画像記録材料に付いた傷によって色素層が損傷を受けていない箇所に対応する欠陥部か否かを正確に判定することができ、色素層に損傷を与えていない傷に起因する欠陥部を精度良く修正することができる、という効果も有している。
【００３３】
請求項３記載の発明は、請求項１又は請求項２の発明において、決定手段は、欠陥部の特徴量として、画像記録材料に非可視光を照射したときの欠陥部付近における非可視光の透過又は反射光量の分布と、画像記録材料に可視光を照射したときの欠陥部付近における可視光の透過又は反射光量の分布と、の相関、及び、欠陥部付近における非可視光の透過又は反射光量、の少なくとも一方を用いて、適用すべき修正方法の選択又は適用範囲の決定を行うことを特徴としている。
【００３４】
欠陥部に元の色の情報が残っているか否かは、前述のように欠陥部付近における各成分色毎の濃度変化の相関から判定可能であるが、画像情報が画像記録材料に記録されている画像を表している場合、欠陥部に元の色の情報が残っていれば、画像記録材料に非可視光を照射したときの欠陥部付近における非可視光の透過又は反射光量の変化と、画像記録材料に可視光を照射したときの欠陥部付近における可視光の透過又は反射光量の変化の相関が強くなり、欠陥部に元の色の情報が残っていなければ前記相関は弱くなる。従って、欠陥部付近における非可視光と可視光の透過又は反射光量の変化の相関に基づいて、適正な修正方法が異なる欠陥部を弁別することができる。
【００３５】
また、規模等が大きな欠陥部は修正結果が不適正となると目立つので、このような欠陥部の修正には輝度調整方法や他の類似の修正方法が適している。画像情報が画像記録材料に記録された画像を表している場合、該画像情報が表す画像中の欠陥部の規模等は、画像記録材料に非可視光を照射したときの欠陥部付近における非可視光の透過又は反射光量から判断することができる。
【００３６】
請求項３の発明の発明では、欠陥部付近における非可視光と可視光の透過又は反射光量の分布の相関、及び欠陥部付近における非可視光の透過又は反射光量の少なくとも一方を用いて、適用すべき修正方法の選択又は適用範囲の決定を行うので、修正方法の選択又は適用範囲の決定を精度良く行うことができる。
【００３７】
請求項４記載の発明は、請求項１又は請求項２の発明において、修正手段は、補間方法を適用して欠陥部の修正を行うにあたり、画像情報が表す画像中に存在する欠陥部に対し、該欠陥部内から互いに異なる複数の方向に沿って画像特徴量を各々演算し、前記欠陥部に対して画像上で所定の方向に存在する領域の情報から前記欠陥部を修正するための修正値を補間によって求めることを前記複数の方向について各々行い、前記演算した各方向毎の画像特徴量に基づいて、前記各方向毎に演算した修正値から最終修正値を求め、前記画像情報に対し、前記演算した最終修正値を用いて前記欠陥部の修正を行うことを特徴としている。
【００３８】
請求項４記載の発明では、補間方法を適用して欠陥部の修正を行うにあたり、画像情報が表す画像中に存在する欠陥部に対し、該欠陥部内から互いに異なる複数の方向に沿って画像特徴量が各々演算される。なお、上記の画像特徴量としては、各方向が適正な補間方向か否かを評価可能な画像特徴量を用いることができ、例えば画像領域の境界やテクスチャが存在しているか否かを判定可能な画像特徴量や、欠陥部と非欠陥部との境界位置に関連する画像特徴量を用いることができる。
【００３９】
また、請求項４の発明では、欠陥部に対して画像上で所定の方向に存在する領域の情報から欠陥部を修正するための修正値を補間によって求めることを複数の方向について各々行い、演算した各方向毎の画像特徴量に基づいて、各方向毎に演算した修正値から最終修正値を求める。最終修正値は、例えば各方向毎の画像特徴量から各方向毎の重みを決定し、各方向毎の修正値の加重平均を演算する等によって求めることができる。
【００４０】
このように、請求項４の発明では、複数の方向について各々修正値を求めるので、何れかの方向が適正な補間方向に合致している可能性が高く、各方向毎の画像特徴量に基づいて各方向毎の修正値から最終修正値を求めるので、最終修正値に対し、画像特徴量から適正な補間方向と推定される方向についての修正値が及ぼす影響が大きくなるように、最終修正値を演算することができる。従って、請求項４の発明によれば、個々の欠陥部毎に適正な補間方向が相違していることによる影響を小さくすることができ、補間方法による欠陥部の修正における修正精度のばらつきを抑制することができる。
【００４１】
請求項５記載の発明は、請求項４の発明において、修正手段は、画像特徴量として、所定の方向に沿った画像の濃度変化、所定の方向に沿って一定距離内に画像上に存在している欠陥画素の数、及び、所定の方向に沿って画像を辿ったときに欠陥部に属さない正常画素が出現する迄の距離、の少なくとも何れかを、複数の方向について各々演算することを特徴としている。
【００４２】
補間方法は、欠陥部内及び該欠陥部に隣接する周囲領域において元の画像の濃度が滑らかかつ連続的に変化していることを前提として補間を行うものであるので、例えば欠陥部の周囲に、異なる画像領域の境界やテクスチャ等のように濃度が大きく又は複雑に変化している領域が存在していた場合、前記領域が存在している方向を補間方向としたときの補間演算の精度は低く、適正な補間方向（高い補間演算精度が得られる方向）は前記領域が存在している方向と異なる方向となる。上記のような画像領域の境界やテクスチャの有無等は各方向に沿った画像の濃度変化から判断することができる。
【００４３】
また補間方法では、補間方向に沿った欠陥部の長さ（補間長さ）が長くなるに従って補間演算の精度が低下し、適正な補間方向は補間長さの短い方向となる。補間長さは、画像情報が表す画像が記録された画像記録材料に非可視光を照射したときの画像記録材料を透過又は反射した非可視光の光量変化（これにより欠陥部の境界位置が検知できる）、又は一定距離内に画像上に存在している欠陥画素の数、又は画像を辿ったときに欠陥部に属さない正常画素が出現する迄の距離の何れか（欠陥部と非欠陥部との境界位置に関連する画像特徴量）から判断することができる。
【００４４】
請求項５の発明では、画像特徴量として、所定の方向に沿った画像の濃度変化、所定の方向に沿って一定距離内に画像上に存在している欠陥画素の数、及び、所定の方向に沿って画像を辿ったときに欠陥部に属さない正常画素が出現する迄の距離、の少なくとも何れかを複数の方向について各々演算するので、複数の方向の各々が適正な補間方向か否かを正確に評価できる画像特徴量が得られる。
【００４５】
請求項６記載の発明は、請求項４の発明において、修正手段は、画像特徴量及び修正値の少なくとも一方の演算に際し、所定方向に沿って画像を辿ったときに欠陥部に属さない正常画素が一定数出現する迄の範囲で画像特徴量又は修正値を演算することを、複数の方向について各々行うことを特徴としている。
【００４６】
請求項６の発明では、各方向毎の画像特徴量又は修正値の演算が、所定方向に沿って画像を辿ったときに欠陥部に属さない正常画素が一定数（例えば画像特徴量又は修正値の演算に支障を来さない程度の数）出現する迄の範囲で行われるので、画像特徴量又は修正値の演算に要する時間を短縮することができる。
【００４７】
請求項７記載の発明は、請求項１又は請求項２の発明において、修正手段は、輝度調整方法を適用して欠陥部の修正を行うにあたり、検出手段によって検出された前記画像の欠陥部に対し、前記画像記録材料に非可視光を照射したときの前記欠陥部付近における非可視光の透過又は反射光量と、画像記録材料における可視光と非可視光の屈折率の相違に起因する可視光及び非可視光の透過又は反射光量の比率とに基づいて、前記欠陥部を修正するための輝度変更量を演算し、前記画像情報が表す画像の前記欠陥部の輝度が、前記演算した輝度変化量だけ変化するように画像情報を修正することを特徴としている。
【００４８】
画像記録材料に非可視光を照射したときの非可視光の透過又は反射光量は、画像記録材料に記録されている画像濃度の影響は受けず、画像記録材料に付いている傷等のみに応じて変化するが、このときの非可視光の透過又は反射光量の変化量は、画像記録材料における可視光と非可視光の屈折率の相違により、画像記録材料に可視光を照射したときの、画像記録材料に付いている傷等に起因する可視光の透過又は反射光量の変化量とは相違している。
【００４９】
これに対して請求項７記載の発明では、画像記録材料に非可視光を照射したときの欠陥部付近における非可視光の透過又は反射光量と、画像記録材料における可視光と非可視光の屈折率の相違に起因する可視光及び非可視光の透過又は反射光量の比率とに基づいて、欠陥部を修正するための輝度変更量を演算しているので、画像記録材料に付いている傷等に起因する可視光の透過又は反射光量の変化量を正確に求めることができ、該変化量が正確に補正されるように輝度変更量を演算することができる。そして請求項７の発明では、演算された輝度変化量だけ欠陥部の輝度が変化するように画像情報を修正するので、輝度調整方法による欠陥部の修正精度を向上させることができる。
【００５０】
なお、画像記録材料における可視光と非可視光の屈折率の相違に起因する可視光及び非可視光の透過又は反射光量の比率を表す特徴量については、請求項８に記載したように、画像記録材料に非可視光を照射したときの欠陥部付近における非可視光の透過又は反射光量を表すデータをハイパスフィルタに入力することで得られる第１の高周波成分データと、画像記録材料に可視光を照射したときの欠陥部付近における可視光の透過又は反射光量を表すデータをハイパスフィルタに入力することで得られる第２の高周波成分データと、の比を演算することで得ることができる。上記のように非可視光及び可視光の透過又は反射光量を表すデータから高周波成分データを抽出することで、光量変化の直流成分や低周波成分（これらは傷等に起因する成分でないことが殆どである）を除去することができ、前記屈折率の相違に起因する可視光及び非可視光の透過又は反射光量の比率を正確に表す特徴量を得ることができる。
【００５１】
また、前記屈折率の相違については、請求項８に記載したように、画像記録材料の種類に基づいて、前記相違を表す特徴量を取得することも可能である。すなわち、光の波長毎の屈折率の相違は、画像記録材料の材質（詳しくは支持体の材質）によっておおよそ定まるので、画像記録材料の種類から可視光と非可視光の屈折率の相違を特定することができ、前記相違を表す特徴量を取得することができる。
【００５２】
請求項８の発明では、画像記録材料における可視光と非可視光の屈折率の相違を表す特徴量として、欠陥部付近における非可視光の透過又は反射光量の変化から高周波成分を抽出した値と、欠陥部付近における可視光の透過又は反射光量の変化から高周波成分を抽出した値と、の比を演算するか、又は画像記録材料の種類に基づいて前記特徴量を取得するので、該特徴量を用いて輝度修正量を演算することで、画像記録材料に付いている傷等に起因する可視光の透過又は反射光量の変化を正確に補正できる輝度変更量を得ることができる。
【００５３】
請求項９記載の発明に係る画像処理方法は、画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出し、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択し、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記選択した修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定した適用範囲内で各々適用して欠陥部の修正を行うので、請求項１の発明と同様に、様々な欠陥部を各々精度良く修正することが可能となる。
【００５６】
請求項１０記載の発明に係る記録媒体は、コンピュータを、画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ前記複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択する決定手段、及び、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段として機能させるためのプログラムが記録されている。
【００５７】
請求項１０記載の発明に係る記録媒体には、コンピュータを上記の検出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを、請求項１に記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項１の発明と同様に、様々な欠陥部を各々精度良く修正することが可能となる。
【００５８】
請求項１１記載の発明に係る記録媒体は、コンピュータを、画像が記録された画像記録材料に非可視光を照射し、前記画像記録材料を透過又は反射した非可視光を光電変換した結果から前記画像の欠陥部を検出する検出手段、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求めて欠陥部を修正する補間方法と、欠陥部の輝度が変化するように画像情報を修正することで欠陥部を修正する輝度調整方法の何れかを選択するか、又は、欠陥部の修正における前記補間方法及び前記輝度調整方法の各々の適用範囲を決定すると共に、前記画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光及び前記複数の波長域の光の何れについても、前記欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の輝度が変化するように画像情報を修正する輝度調整方法を選択する決定手段、及び、前記画像を表す画像情報に対し、前記補間方法及び前記輝度調整方法のうち前記決定手段によって選択された修正方法を適用して欠陥部の修正を行うか、又は、前記補間方法及び前記輝度調整方法を前記決定手段によって決定された適用範囲内で各々適用して欠陥部の修正を行う修正手段として機能させるためのプログラムが記録されている。
【００５９】
請求項１１記載の発明に係る記録媒体には、コンピュータを上記の検出手段、決定手段及び修正手段として機能させるためのプログラム、すなわちコンピュータを、請求項２に記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項２の発明と同様に、様々な欠陥部を各々精度良く修正することが可能となる。
【００６２】
【発明の実施の形態】
以下、図面を参照し、本発明の実施形態の一例を詳細に説明する。なお、以下では一例として、写真フィルムに付いている傷や異物に起因する欠陥部を修正する場合を説明する。
【００６３】
図１には、本実施形態に係る画像処理システム１０が示されている。画像処理システム１０は、フィルムスキャナ１２、画像処理装置１４及びプリンタ１６が直列に接続されて構成されている。なお、フィルムスキャナ１２及び画像処理装置１４は本発明に係る画像処理装置に対応している。
【００６４】
フィルムスキャナ１２は、写真フィルム（例えばネガフィルムやリバーサルフィルム）等の写真感光材料（以下単に写真フィルムと称する）に記録されている画像（被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像）を読み取り、該読み取りによって得られた画像データを出力するものであり、図２にも示すように、ハロゲンランプ等から成り写真フィルム２６に光を照射する光源２０を備えている。なお、光源から射出される光は可視光域の波長の光及び赤外域の波長の光を各々含んでいる。
【００６５】
光源２０の光射出側には、写真フィルム２６に照射する光の光量を調節するための絞り２１、フィルタユニット２３、写真フィルム２６に照射する光を拡散光とする光拡散ボックス２２が順に配置されている。フィルタユニット２３は、入射光のうちＲに相当する波長域の光（Ｒ光）のみ透過させるフィルタ２３Ｃと、入射光のうちＧに相当する波長域の光（Ｇ光）のみ透過させるフィルタ２３Ｍと、入射光のうちＢに相当する波長域の光（Ｂ光）のみ透過させるフィルタ２３Ｙと、入射光のうち赤外域の光（ＩＲ光）のみ透過させるフィルタ２３ＩＲの４個のフィルタが、図２矢印Ａ方向に沿って回転可能とされたターレット２３Ａに嵌め込まれて構成されている。
【００６６】
写真フィルム２６を挟んで光源２０と反対側には、光軸Ｌに沿って、写真フィルム２６を透過した光を結像させるレンズ２８、エリアＣＣＤ３０が順に配置されている。エリアＣＣＤ３０は、各々可視光域及び赤外域に感度を有する多数のＣＣＤセルがマトリクス状に配列されたモノクロのＣＣＤであり、受光面がレンズ２８の結像点位置に一致するように配置されている。また、エリアＣＣＤ３０とレンズ２８との間にはシャッタ（図示省略）が設けられている。
【００６７】
エリアＣＣＤ３０はＣＣＤドライバ３１を介してスキャナ制御部３３に接続されている。スキャナ制御部３３はＣＰＵ、ＲＯＭ（例えば記憶内容を書換え可能なＲＯＭ）、ＲＡＭ及び入出力ポートを備え、これらがバス等を介して互いに接続されて構成されている。スキャナ制御部３３はフィルムスキャナ１２の各部の動作を制御する。また、ＣＣＤドライバ３１はエリアＣＣＤ３０を駆動するための駆動信号を生成し、エリアＣＣＤ３０の駆動を制御する。
【００６８】
写真フィルム２６はフィルムキャリア２４（図１参照、図２では図示省略）によって搬送され、画像の画面中心が光軸Ｌに一致する位置（読取位置）に位置決めされる。また、スキャナ制御部３３は画像が読取位置に位置決めされている状態で、フィルタ２３ＩＲを含む全てのフィルタ２３が順に光軸Ｌ上に位置するようにフィルタユニット２３のターレット２３Ａを回転駆動させると共に、所定の読取条件（予め固定的に定められた読取条件、又はプレスキャンを行うことで決定された読取条件）に対応するエリアＣＣＤ３０の電荷蓄積時間をＣＣＤドライバ３１へ設定し、絞り２１を前記所定の読取条件に対応する位置へ移動させる。
【００６９】
これにより、写真フィルム２６上の画像記録領域に各フィルタ２３に対応する波長域（Ｒ又はＧ又はＢ又はＩＲ）の光が順に照射され、写真フィルム２６上の画像記録領域を透過した光はエリアＣＣＤ３０によって光電変換され、エリアＣＣＤ３０から信号として出力される。エリアＣＣＤ３０から出力された信号は、Ａ／Ｄ変換器３２によって透過光量を表すデジタルデータに変換されて画像処理装置１４に入力される。
【００７０】
なお、Ｒ、Ｇ、Ｂの各波長域の光の透過光量は、画像記録領域に記録されている画像のＲ，Ｇ，Ｂ濃度に応じて変化する（写真フィルム２６に傷や異物が付いていた場合にはこれらによっても変化するが、ＩＲ光の透過光量は画像濃度の影響を受けず、傷や異物等のみによって変化する）。従って、Ｒ、Ｇ、Ｂの各波長域の透過光を光電変換することは画像を読み取ることに相当し、画像処理装置１４に入力されるＲ、Ｇ、Ｂ、ＩＲの各波長域のデータのうちＩＲを除くＲ、Ｇ、Ｂの各データ（画像データ）は本発明の画像情報に対応している。
【００７１】
一方、画像処理装置１４のスキャナ補正部３６は、入力された画像データ（及びＩＲデータ）に対し、暗補正、濃度変換、シェーディング補正等の各種の補正処理を順に行う。スキャナ補正部３６の出力端はＩ／Ｏコントローラ３８の入力端に接続されており、スキャナ補正部３６で前記各処理が施された画像データはＩ／Ｏコントローラ３８に入力される。Ｉ／Ｏコントローラ３８の入力端は、イメージプロセッサ４０のデータ出力端にも接続されており、イメージプロセッサ４０から画像処理（詳細は後述）が行われた画像データが入力される。
【００７２】
また、Ｉ／Ｏコントローラ３８の入力端は制御部４２にも接続されている。制御部４２は拡張スロット（図示省略）を備えており、この拡張スロットには、デジタルスチルカメラに装填可能なＰＣカードやＩＣカード（以下、これらをデジタルカメラカードと総称する）、ＣＤ−ＲＯＭやＭＯ、ＣＤ−Ｒ等の情報記憶媒体に対してデータ（或いはプログラム）の読出し／書込みを行うドライバ（図示省略）や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部から入力された画像データはＩ／Ｏコントローラ３８へ入力される。
【００７３】
Ｉ／Ｏコントローラ３８の出力端は、イメージプロセッサ４０のデータ入力端及び制御部４２に各々接続されており、更にＩ／Ｆ回路５４を介してプリンタ１６に接続されている。Ｉ／Ｏコントローラ３８は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【００７４】
本実施形態では、写真フィルム２６に記録されている個々の画像に対し、フィルムスキャナ１２において異なる解像度で２回の読み取りを行う。なお、本実施形態のように読取センサとしてエリアセンサ（エリアＣＣＤ３０）を用いた態様において、読み取りの解像度の切り替え（各回の読み取りで異なる解像度の画像データを得ること）は、例えばプレスキャン時もファインスキャン時と同一の高解像度で読み取りを行い、得られた画像データに対して画素の間引き又は画素の統合等の後処理を行うか、或いはファインスキャン時にはエリアセンサによって読み取りを複数回行うと共に、各回の読み取り時にピエゾ素子等のアクチュエータにより画素間隔の整数分の１に相当する距離だけエリアセンサを移動させることで実現できる。
【００７５】
１回目の比較的低解像度での読み取り（プレスキャン）では、画像の濃度が非常に低い場合にも、エリアＣＣＤ３０で蓄積電荷の飽和が生じないように決定した読取条件（写真フィルム２６に照射する光のＲ、Ｇ、Ｂの各波長域毎の光量、エリアＣＣＤ３０の電荷蓄積時間）で各画像の読み取りが行われる。なお、本実施形態ではプレスキャン時にはＩＲ読み取りは行なわない。このプレスキャンによって得られたデータ（プレスキャン画像データ）は、Ｉ／Ｏコントローラ３８から制御部４２へ入力される。
【００７６】
制御部４２は、ＣＰＵ４６、ＲＡＭ４８、ＲＯＭ５０（例えば記憶内容を書換え可能なＲＯＭ）、入出力ポート５２を備え、これらがバスを介して互いに接続されて構成されている。制御部４２は、Ｉ／Ｏコントローラ３８から入力されたプレスキャン画像データに基づいて画像の濃度等の画像特徴量を演算し、各画像に対し、フィルムスキャナ１２が比較的高解像度での再度の読み取り（ファインスキャン）を行う際の読取条件を決定し、決定した読取条件をフィルムスキャナ１２に出力する。
【００７７】
また制御部４２は、プレスキャン画像データに基づいて、画像中の主要画像領域（例えば人物の顔に相当する領域（顔領域))の抽出を含む画像特徴量の演算を行い、フィルムスキャナ１２がファインスキャンを行うことによって得られる画像データ（ファインスキャン画像データ）に対する各種の画像処理の処理条件を演算により自動的に決定し（セットアップ演算）、決定した処理条件をイメージプロセッサ４０へ出力する。
【００７８】
なお、制御部４２は、フィルムスキャナ１２から入力されたＩＲデータに基づいて、画像データが表す画像中に、写真フィルム２６に付いている傷や塵埃等の異物に起因する欠陥部が生じているか否かを探索する機能、イメージプロセッサ４０が欠陥部修正処理を行うためのパラメータを設定する機能を有している。また、制御部４２のバスにはディスプレイ４３、キーボード４４及びマウス（図示省略）が接続されている。
【００７９】
制御部４２は、演算した画像処理の処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。そして、生成したシミュレーション画像データを、ディスプレイ４３に画像を表示するための信号に変換し、該信号に基づいてディスプレイ４３にシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボード４４やマウスを介して入力されると、入力された情報に基づいて画像処理の処理条件の再演算等を行う。
【００８０】
一方、フィルムスキャナ１２で画像に対してファインスキャンが行われることによってＩ／Ｏコントローラ３８に入力された画像データ（ファインスキャン画像データ）は、Ｉ／Ｏコントローラ３８からイメージプロセッサ４０へ入力される。
【００８１】
イメージプロセッサ４０は、階調変換や色変換を含む色・濃度補正処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、制御部４２によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。また、イメージプロセッサ４０は制御部４２によって設定されたパラメータに従って欠陥部修正処理を行う機能を有している。
【００８２】
イメージプロセッサ４０で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ４０で画像処理が行われた画像データは、Ｉ／Ｏコントローラ３８からＩ／Ｆ回路５４を介し記録用画像データとしてプリンタ１６へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、Ｉ／Ｏコントローラ３８から制御部４２へ画像データが出力される。これにより、制御部４２では、外部への出力用としてＩ／Ｏコントローラ３８から入力された画像データを、拡張スロットを介して画像ファイルとして外部（前記ドライバや通信制御装置等）に出力する。
【００８３】
プリンタ１６は、画像メモリ５８、Ｒ，Ｇ，Ｂのレーザ光源６０、該レーザ光源６０の作動を制御するレーザドライバ６２を備えている。画像処理装置１４から入力された記録用画像データは画像メモリ５８に一旦記憶された後に読み出され、レーザ光源６０から射出されるＲ，Ｇ，Ｂのレーザ光の変調に用いられる。レーザ光源６０から射出されたレーザ光は、ポリゴンミラー６４、ｆθレンズ６６を介して印画紙６８上を走査され、印画紙６８に画像が露光記録される。画像が露光記録された印画紙６８は、プロセッサ部１８へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙６８に露光記録された画像が可視化される。
【００８４】
次に本実施形態の作用として、スキャナ１２から画像処理装置１４にファインスキャン画像データが入力されると制御部４２で実行される欠陥部修正値決定処理について説明する。
【００８５】
この欠陥部修正値決定処理は、請求項９に記載の画像処理方法が適用された処理であり、制御部４２のＣＰＵ４６により、欠陥部修正値決定プログラムが実行されることにより実現される。欠陥部修正値決定プログラムは、その他の処理をＣＰＵ４６で実行させるためのプログラムと共に、当初は、情報記憶媒体７２（図１参照）に記憶されている。なお、図１では情報記憶媒体７２をフロッピー（登録商標）ディスクとして示しているが、ＣＤ−ＲＯＭやメモリカード等で構成してもよい。
【００８６】
制御部４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入（インストール）が指示されると、情報読出装置によって情報記憶媒体７２から欠陥部修正値決定プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。そして、欠陥部修正値決定処理を実行すべきタイミングが到来すると、ＲＯＭ５０から欠陥部修正値決定プログラムが読み出され、該プログラムがＣＰＵ４６によって実行される。
【００８７】
これにより、画像処理装置１４は、請求項１，２に記載の画像処理装置として機能する。このように、欠陥部修正値決定プログラム等を記憶している情報記憶媒体７２は請求項１０，１１に記載の記録媒体に対応している。
【００８８】
以下、欠陥部修正値決定処理について、図３のフローチャートを参照して説明する。ステップ１００では、制御部４２に入力された単一の画像（処理対象の画像）のＲ，Ｇ，Ｂの画像データ及びＩＲデータをＲＡＭ４８等に取り込み、次のステップ１０１では取り込んだ画像データ及びＩＲデータに対し、フィルムスキャナ１２のレンズ２８の倍率色収差に起因するＲ，Ｇ，Ｂ，ＩＲの各データ上での画素位置のずれを補正する倍率色収差補正を行う。
【００８９】
倍率色収差補正は、例えばレンズ２８の倍率色収差に起因する画像上の各位置での基準波長域（例えばＧ）の画素位置に対する非基準波長域（例えばＲ，Ｂ，ＩＲ）の画素位置の変化方向及び変化量（倍率色収差量）を予め測定して倍率色収差補正データとして記憶しておき、非基準波長域のデータが表す各画素毎の値が、本来の画素位置に対して倍率色収差補正データが表す変化方向に倍率色収差補正データが表す変化量だけずれた位置における値であるとみなして、本来の画素位置における値を求めることを、非基準波長域の各データに対して各々行うことによって成される。
【００９０】
ステップ１０２ではＲＡＭ４８等に取り込んだＲ，Ｇ，Ｂの画像データ及びＩＲデータに基づき、Ｒ，Ｇ，Ｂの画像データが表す処理対象の画像の欠陥部を検出する欠陥部検出処理を行う。まず欠陥部検出処理の説明に先立ち、写真フィルムに傷や異物の付いている箇所のＩＲ光による検出の原理について説明する。
【００９１】
図４（Ａ）に示すように、写真フィルム上の表面に傷や異物が付いていない箇所に光を照射したときの透過光量は、写真フィルムへの入射光量に対し、写真フィルムによる光の吸収に応じた減衰量だけ減衰する。なお、写真フィルムで光の吸収が生ずる波長域はおおよそ可視光域であり、赤外域のＩＲ光については殆ど吸収されないので、前記傷や異物が付いていない箇所にＩＲ光を照射した場合の透過光量は入射光量から僅かに変化するのみである。
【００９２】
一方、写真フィルム上の傷が付いている箇所に光を照射した場合、照射された光の一部は傷によって屈折するので、前記傷が付いている箇所に光を照射したときの透過光量（前記箇所を直線的に透過する光の光量）は、写真フィルムへの入射光量に対し、前述した写真フィルムによる光の吸収に起因する減衰に、傷による光の屈折に起因する減衰を加えた減衰量だけ減衰する。なお、図４（Ａ）では光の入射側に傷が付いている場合を示しているが、光の射出側に傷が付いている場合も同様である。
【００９３】
傷による光の屈折はＩＲ光でも生ずるので、前記傷が付いている箇所にＩＲ光を照射した場合のＩＲ光の透過光量は、傷による光の屈折に起因する減衰に応じた減衰量だけ減衰する。なお傷による光の屈折は、例として図４（Ｂ）にも示すように、傷の規模（深さ等）が大きくなるに伴って顕著となる（可視光もＩＲ光も同様）ので、前記傷が付いている箇所にＩＲ光を照射した場合の透過光量は傷の規模が大きくなるに従って小さくなる。従って、ＩＲ光の透過光量の減衰量に基づいて、写真フィルムに付いている傷の規模も検知することができる。
【００９４】
また、写真フィルム上の塵埃等の異物がついている箇所に光を照射した場合、照射した光は異物によって反射されるので、異物の大きさや種類（光透過率）にも依存するが、前記異物が付いている箇所に光を照射した場合の光の透過光量は前記異物によって大きく減衰する。異物が付いている箇所に光を照射した場合の透過光量の減衰は、前記箇所にＩＲ光を照射した場合も同様である。
【００９５】
上記のように、写真フィルムにＩＲ光を透過した場合の透過光量は、写真フィルム上の傷又は異物が付いている箇所でのみ変化し、写真フィルムに画像が記録されていたとしても、該画像の透過濃度の変化の影響を受けないので、写真フィルムにＩＲ光を照射して透過光量を検出することで、写真フィルムに付いている傷や異物を検出できる。
【００９６】
上記に基づき、ステップ１０２では以下のようにして欠陥部検出処理を行う。写真フィルムにＩＲ光を照射したときの透過光量は、前述のように通常は画像上の位置に拘わらず略一定となり、写真フィルムに傷又は異物が付いている箇所でのみ低下する（図５参照）。ＩＲデータは処理対象の画像上の各位置におけるＩＲ光の透過光量を表しているので、処理対象の画像上の傷や異物が付いていない箇所におけるＩＲデータが表すＩＲ光の透過光量（例えば透過光量の最大値）を基準値とする。そして、各画素毎にＩＲ光の透過光量を基準値と比較し、基準値に対する透過光量の変化量（低下量）が所定値（傷や異物が付いていない箇所におけるＩＲ光の透過光量の若干の変動を考慮して定めた値）以上の画素を、修正対象の欠陥部に属する欠陥画素として全て検出する。
【００９７】
またステップ１０２では、検出した欠陥画素を、欠陥画素相互の位置関係（例えば隣接しているか否か）等に基づいて、同一の欠陥部に属する欠陥画素毎に分類し、各欠陥部に関する情報（例えば各欠陥部に属する欠陥画素を表す情報や各欠陥画素におけるＩＲ光の透過光量の低下量等の情報）をＲＡＭ４８等に記憶する。ステップ１０２は、写真フィルムのＩＲ光の透過光量を測定するフィルムスキャナ１２と共に本発明の検出手段に対応している。
【００９８】
ステップ１０４では、ステップ１０２の欠陥部検出処理によって検出された欠陥部の中から処理対象の単一の欠陥部を選択する。本実施形態では、欠陥部を修正するための修正方法として補間方法と輝度調整方法が用意されており、次のステップ１０６では選択した処理対象の欠陥部に対し、該欠陥部の修正に補間方法と輝度調整方法の何れを適用するかを選択（又は双方の修正方法の適用範囲を決定）するための所定の特徴量を演算する。この所定の特徴量としては、例えば欠陥部付近におけるＲ，Ｇ，Ｂの濃度変化（透過光量の変化）の相関を表す特徴量を用いることができる。
【００９９】
図４（Ｂ）に示すように、写真フィルムの乳剤層はＲ，Ｇ，Ｂの各感光層を含んで構成されており、画像が露光記録され現像等の処理が行われた写真フィルム（ネガフィルム）は、Ｒ感光層にＣのネガ像が形成され、Ｇの感光層にＭのネガ像が形成され、Ｂの感光層にＹのネガ像が形成される。そして写真フィルムを透過した可視光のうち、Ｒ光についてはＲ感光層においてＣのネガ像の透過濃度に応じた減衰量だけ減衰（吸収）され、Ｇ光についてはＧ感光層においてＭのネガ像の透過濃度に応じた減衰量だけ減衰（吸収）され、Ｂ光についてはＢ感光層においてＹのネガ像の透過濃度に応じた減衰量だけ減衰（吸収）される。
【０１００】
ここで、例として図４（Ｂ）に示すように、乳剤面と反対側のバック面に傷が付いている場合、透過光に対するＲ，Ｇ，Ｂの各感光層における光の吸収の比率は傷が付いていない場合と同じである。すなわち、図４（Ｂ）において、写真フィルムへの入射光量をＩ0、傷が付いていないときのＲ光、Ｇ光、Ｂ光の透過光量を各々Ｉ0R，Ｉ0G ，Ｉ0B とし、傷が付いたときに傷が付いている箇所を直線的に透過して乳剤層に入射する光量をＩ1（Ｉ1＜Ｉ0：Ｉ0−Ｉ1が傷による光の減衰分）、傷が付いているときのＲ光、Ｇ光、Ｂ光の透過光量を各々Ｉ1R，Ｉ1G ，Ｉ1B とすると、以下の（１）式の関係が成り立つ。
0004005277.tif 000002
【０１０１】
このように、バック面に傷が付いている場合、傷が付いている箇所におけるＲ光、Ｇ光、Ｂ光の透過光量は、何ら傷が付いていないときよりも低下する（ＩＲ光の透過光量も同様）。（１）式より明らかなように、バック面に傷が付いている箇所に対応する欠陥部は、傷が付いていない場合と比較して輝度のみが変化し、写真フィルムに記録されている画像の色情報は保存されているので、輝度調整方法を適用し欠陥部領域の輝度を調整することで、画像データが表す画像の欠陥部を修正することができる。
【０１０２】
一方、例として図４（Ｃ）に示すように乳剤面に傷が付いている場合、浅い傷であれば各感光層のうちの一部の感光層（色素層）が削られる（損傷を受ける）ことで、透過光に対するＲ，Ｇ，Ｂの各感光層における光の吸収の比率は傷が付いていない場合と変化する。また、各感光層が全て剥ぎ取られているような非常に深い傷であれば、透過光に対する各感光層における光の吸収は生じない。従って、何れの場合も（１）式の関係は成立しない。
【０１０３】
なお、乳剤面に傷が付いている場合にも、傷が付いている箇所におけるＩＲ光の透過光量は何ら傷が付いていないときよりも低下する。一方、乳剤面に傷が付いている場合、Ｒ光、Ｇ光、Ｂ光については、Ｒ，Ｇ，Ｂのうち損傷を受けていない感光層に対応する波長域の光については透過光量が低下するものの、損傷を受けた感光層に対応する波長域の光については、傷による光の減衰の程度等にも依存するが一般に透過光量が増大する。
【０１０４】
このように、乳剤面に傷が付いている箇所に対応する欠陥部は、傷の深さに拘わらず、傷が付いていない場合と比較して輝度及び色が各々変化しており、写真フィルムに記録されている画像の色情報も失われているので、輝度を調整しても欠陥部を精度良く修正することは困難である。このため、乳剤面に傷が付いている箇所に対応する欠陥部の修正には、欠陥部の周囲の領域の情報から補間によって欠陥部の輝度及び濃度を決定する修正方法（補間方法）が適している。なお、写真フィルムに異物が付いていることに起因して生じた欠陥部についても、異物が付いていない場合と比較して輝度及び色が各々変化するので、上記の欠陥部を修正する場合にも補間方法が適している。
【０１０５】
上述したように、写真フィルムのバック面に付いた傷に起因する欠陥部では、欠陥部内の各部においてＲ，Ｇ，Ｂの各波長域の光が略一定の割合で低下するので、画像データ上での欠陥部におけるＲ，Ｇ，Ｂの濃度変化量が略一定となるのに対し、写真フィルムの乳剤面に付いた傷や異物に起因する欠陥部では前記割合が不定であるので、前記濃度変化量も不定となる。従って、所定の特徴量として欠陥部におけるＲ，Ｇ，Ｂの濃度変化の相関を表す特徴量を用いれば、該特徴量の演算結果に基づいて、処理対象の欠陥部がバック面に付いた傷に起因する欠陥部か（輝度調整方法で修正すべき欠陥部か）、乳剤面に付いた傷又は異物に起因する欠陥部か（補間方法で修正すべき欠陥部か）を判断することが可能となる。
【０１０６】
なお、欠陥部におけるＲ，Ｇ，Ｂの濃度変化の相関を表す特徴量に代えて、欠陥部付近におけるＩＲ光の透過光量の変化と欠陥部付近におけるＲ光、Ｇ光、Ｂ光の透過光量の変化との相関を表す特徴量を用いてもよい。具体的には、前記相関を表す特徴量として、後述する（４）式から求まるゲインGainXを用い、処理対象の欠陥部に属する全ての欠陥画素についてゲインGainXを各々演算し、演算結果が全て所定の数値範囲（例えば0.6〜1.5）内に入っていれば相関が強いと判断して輝度調整方法を選択、或いは輝度調整方法の適用割合を高くし、所定の数値範囲内に入っていない欠陥画素があれば相関が弱いと判断して補間方法を選択、或いは補間方法の適用割合を高くするようにしてもよい。
【０１０７】
また、所定の特徴量として欠陥部の周囲の領域におけるエッジ強度やテクスチャ強度を用いてもよい。すなわち、補間方法は欠陥部内及び欠陥部の周囲領域で元の画像の濃度が滑らかかつ連続的に変化していることを前提として、周囲領域における濃度変化から補間を行うものであるので、例えば欠陥部の周囲にエッジ強度の高いエッジが存在していた等の場合に補間演算の精度が低下し、欠陥部を精度良く修正することが困難となる。従って、所定の特徴量として欠陥部の周囲の領域におけるエッジ強度を用いれば、該特徴量の演算結果に基づいて、処理対象の欠陥部が輝度調整方法で修正すべき欠陥部か補間方法で修正すべき欠陥部かを判断することが可能となる。欠陥部の周囲の領域におけるエッジ強度は欠陥部の周囲領域における濃度分布から求めることができる。
【０１０８】
また、テクスチャが存在している画像の観察においてはテクスチャの異なる部分が異なる画像領域として区別されるので、欠陥部の周囲領域に明瞭なテクスチャが存在している欠陥部の修正に失敗した場合にも非常に目立つ。このような欠陥部の修正にも、欠陥部の修正精度のばらつきが比較的小さい輝度調整方法が適している。従って、所定の特徴量として欠陥部の周囲の領域におけるテクスチャ強度を用いれば、該特徴量の演算結果に基づいて、処理対象の欠陥部が輝度調整方法で修正すべき欠陥部か補間方法で修正すべき欠陥部かを判断することが可能となる。
【０１０９】
なお、欠陥部の周囲領域のテクスチャ強度としては、例えば統計的なテクスチャ特徴の代表的な計算方法である周知の濃度ヒストグラム、同時生起(co-occurrence)行列、差分統計量、ランレングス行列、パワースペクトル等のうちの少なくとも１つを用いて求めた統計量を用いることができ、欠陥部の周囲領域における濃度分布から上記統計量を求めることができる。
【０１１０】
更に、所定の特徴量として欠陥部が画像中の主要部領域内に存在しているか否か（又は欠陥部と主要部領域との重複割合）を用いてもよい。すなわち、画像中の主要部領域（例えば人物の顔に相当する領域）は、画像の鑑賞等において注目される領域であるので、例えば主要部領域内に存在している欠陥部や主要部領域と重複している欠陥部の修正には、欠陥部の修正精度のばらつきが比較的小さい輝度調整方法が適している。従って、所定の特徴量として欠陥部が画像中の主要部領域内に存在しているか否か、或いは欠陥部と主要部領域との重複割合を用いれば、該特徴量の演算結果に基づいて、処理対象の欠陥部が輝度調整方法で修正すべき欠陥部か補間方法で修正すべき欠陥部かを判断することが可能となる。
【０１１１】
また、所定の特徴量として欠陥部付近におけるＩＲ光の透過光量を用いてもよい。すなわち、規模の大きな欠陥部（例えば大きな傷や異物、或いは深い傷や光透過性を有しない異物に対応する欠陥部）は修正結果が不適正となると目立つので、このような欠陥部の修正には欠陥部の修正精度のばらつきが比較的小さい輝度調整方法が適している。欠陥部の規模は欠陥部付近におけるＩＲ光の透過光量やその変化から判断できるので、所定の特徴量として、ＩＲ光の透過光量（又はＩＲ光の透過光量から求まる欠陥部の規模を表す特徴量）を用いれば、所定の特徴量の演算結果に基づいて、処理対象の欠陥部が輝度調整方法で修正すべき欠陥部か補間方法で修正すべき欠陥部かを判断することが可能となる。
【０１１２】
なお、ステップ１０６において、所定の特徴量として、上述した各種の特徴量から複数種の特徴量を演算してもよいことは言うまでもない。
【０１１３】
上記のようにして所定の特徴量を演算すると、次のステップ１０８では、所定の特徴量の演算結果に基づき、処理対象の欠陥部の修正に適用する修正方法として補間方法又は輝度調整方法を選択するか、又は処理対象の欠陥部の修正に補間方法及び輝度調整方法を各々適用する場合の各修正方法の適用範囲（適用割合）を決定する。なお、ステップ１０８は、先に説明したステップ１０６と共に、請求項１，２に記載の決定手段（詳しくは請求項３に記載の決定手段）に対応している。
【０１１４】
ステップ１０８における適用する修正方法の選択又は修正方法の適用範囲の決定は、例えば図６（Ａ）に示すように、所定の特徴量の値と補間方法の適用割合α（輝度調整方法の適用割合でもよい）との関係を表すマップを用いることで行うことができる。なお、図６（Ａ）のマップにおいて、α＝１の範囲は補間方法のみを選択して欠陥部の修正を行い、α＝０の範囲は輝度調整方法のみを選択して欠陥部の修正を行うことを表し、０＜α＜１の範囲では、補間方法が適用割合＝αで、輝度調整方法の適用割合＝（１−α）で各々適用される。ステップ１０６で演算された所定の特徴量の値に応じて上記のように修正方法の選択・適用割合の決定を行うことにより、処理対象の欠陥部が精度良く修正されるように、適用すべき修正方法が選択されるか又は各修正方法の最適な適用割合が決定されることになる。
【０１１５】
なお、ステップ１０８において、図６（Ａ）のマップに代えて図６（Ｂ）や図６（Ｃ）に示すようなマップを用いてもよい。図６（Ｂ）のマップでは適用割合αに０又は１の何れかの値が設定されるので、修正方法として補間方法及び輝度調整方法の何れか一方が選択される。また、図６（Ｃ）のマップでは殆どの場合に適用割合αの値が０＜α＜１となり、修正方法として補間方法及び輝度調整方法が各々適用される。なお、特徴量の値の変化に対して適用割合αの値が非線形に変化するマップを用いてもよい。
【０１１６】
次のステップ１１０では処理対象の欠陥部の修正に補間方法を適用するか否か判定する。適用割合α＝０であれば判定が否定されてステップ１１４へ移行するが、適用割合α≠０であれば判定が肯定されてステップ１１２へ移行し、補間方法による修正値決定処理が行われる。以下、この補間方法による修正値決定処理について、図７のフローチャートを参照して説明する。
【０１１７】
ステップ１５０では、処理対象の欠陥画素として、処理対象の欠陥部に属する各欠陥画素の中から単一の欠陥画素を選択し、次のステップ１５２ではスキャン方向（探索方向）を初期化する。本実施形態に係る補間方法による修正値決定処理では、例として図８に複数本の矢印で示すように、処理対象の欠陥画素から放射状に延びる複数の方向に沿って各々スキャンし、各方向について濃度勾配、正常画素間距離の各特徴量及び補間値を各々演算する（詳細は後述）。先のステップ１５２における初期化は、複数の方向うちの所定の一方向を現在のスキャン方向（最初のスキャン方向）として設定することによって成される。
【０１１８】
次のステップ１５４では補間演算部を初期化する。補間演算部は正常画素（欠陥部に属さない画素）のデータが入力されると、入力されたデータを保持すると共に、入力されたデータに基づいて前述の濃度勾配、正常画素間距離及び補間値の演算を行うサブルーチンであり、Ｒ，Ｇ，Ｂの各色毎に各々用意され、上記の演算をＲ，Ｇ，Ｂ各色毎に別個に行う。ステップ１５４における初期化は、各補間演算部に保持されているデータをクリアすることによって成される。
【０１１９】
ステップ１５６では、参照すべき画素のアドレスとして、処理対象の欠陥画素に対して現在のスキャン方向に相当する方向に存在し、かつ画像上での距離が欠陥画素から最も近い未参照画素（最初は処理対象の欠陥画素に対して現在のスキャン方向に隣接している画素）のアドレスを判定する。
【０１２０】
なお、本実施形態では、図８に示すように処理対象の画素を通って延びる直線に沿った方向をスキャン方向として定義しているが、実際のスキャンは前記直線に沿って処理対象の画素から遠ざかる方向にスキャンするので、単一のスキャン方向についてスキャン方向が１８０°異なる２回のスキャンを行う（各回のスキャンを便宜的に正方向、負方向と称する）。このため、先のステップ１５６では、詳しくは現在のスキャン方向が正方向か負方向かを判断し（スキャン方向が設定されるときに正負の方向も初期設定される）、判断した方向に存在する未参照画素のアドレスを判定する。
【０１２１】
ステップ１５８では、ステップ１５６で判定したアドレスの画素（参照画素）のＲ，Ｇ，Ｂ，ＩＲの各データを取り込む。次のステップ１６０では、ステップ１５８で取り込んだＩＲデータに基づいて参照画素が欠陥画素か否か判定する。なお、ＩＲデータを参照することに代えて、欠陥部検出処理（図３のフローチャートのステップ１０２）において、画像中の全ての画素を欠陥画素か正常画素かに応じてラベリングしておき、ラベリング結果を参照することで前記判定を行うようにしてもよい。
【０１２２】
ステップ１６０の判定が肯定された場合にはステップ１６２へ移行し、一定距離以上スキャンしたにも拘わらず正常画素が検出されなかったか否か判定する。この判定が否定された場合にはステップ１５６に戻り、ステップ１５６以降の処理・判定（同一のスキャン方向に沿ったスキャン）が繰り返される。
【０１２３】
ステップ１６０において、参照画素が正常画素であった場合には判定が否定されてステップ１６４へ移行し、先のステップ１５８で取り込んだ参照画素のＲ，Ｇ，Ｂのデータを補間演算部に各々入力する。なお、入力したデータは補間演算部で各々保持される。次のステップ１６６では、一定数以上の正常画素を参照したか否か判定する。判定が否定された場合にはステップ１５６に戻り、同一方向へのスキャンを繰り返す。
【０１２４】
また、一定数以上の正常画素を参照（一定数以上の正常画素のデータを補間演算部に入力）すると、ステップ１６６の判定が肯定されてステップ１６８へ移行し、現在のスキャン方向に対し、正方向及び負方向へのスキャンを各々行ったか否か判定する。判定が否定された場合にはステップ１７０へ移行し、スキャン方向の正負を切り替えた後にステップ１５６に戻る。これにより、前回と１８０°異なるスキャン方向に沿ってスキャンが行われることになる。
【０１２５】
現在のスキャン方向に対し、正方向及び負方向のスキャンで各々一定数以上の正常画素を参照すると、ステップ１６６及びステップ１６８の判定が各々肯定されてステップ１７２へ移行する。このとき補間演算部には、欠陥部を挟みスキャン方向に沿って欠陥部の両側に位置している各々一定数の正常画素（図９（Ａ）に「−」で示す正常画素）のデータが各々入力されており、補間演算部が一定水準以上の演算精度で演算可能な状態となっている。
【０１２６】
このため、ステップ１７２では補間演算部により欠陥画素の画素値（Ｒ，Ｇ，Ｂ各色毎の濃度値、図９（Ａ）に「□」で示す値）の補間演算を行わせる。この補間演算は、例えば最小自乗法等を適用して行うことができる。そして、演算結果として処理対象の欠陥画素の画素値の補間値ＶＡＬＵＥX（ｉ）（但し、ｉはスキャン方向を識別するための符号であり、ＸはＲ，Ｇ，Ｂの何れかを表す）を取り込むと共に、補間演算の過程で演算された濃度勾配の傾き（絶対値）ＧＲＡＤ（ｉ）、正常画素間距離ＤＩＳＴ（ｉ）（図９（Ａ）参照）を取り込み、取り込んだデータを記憶する。
【０１２７】
次のステップ１７４では、全てのスキャン方向についてスキャンを行ったか否か判定する。判定が否定された場合には、ステップ１７６で現在のスキャン方向を切り替えた後にステップ１５４に戻る。これにより、所定の複数のスキャン方向について、処理対象の欠陥画素の画素値の補間値ＶＡＬＵＥX（ｉ）、濃度勾配の傾きＧＲＡＤ（ｉ）及び正常画素間距離ＤＩＳＴ（ｉ）が各々演算・記憶されることになる。
【０１２８】
なお、図８に示す「方向６」のように、スキャン方向が欠陥部（図８における白い領域）の延びる方向と略一致していた場合には、一定距離以上スキャンしても正常画素が検出されないので、ステップ１６２の判定が肯定されてステップ１７４へ移行することで、該スキャン方向についてのスキャンは中止される。これにより、処理時間を短縮することができる。
【０１２９】
なお、上記のステップ１５２〜ステップ１７６は、補間演算部と共に請求項４に記載の修正手段（詳しくは請求項５及び請求項６に記載の修正手段）による画像特徴量及び修正値の演算に対応している。
【０１３０】
全てのスキャン方向についてスキャンを完了すると、ステップ１７４の判定が肯定されてステップ１７８へ移行し、各スキャン方向毎に演算・記憶されている濃度勾配の傾きＧＲＡＤ（ｉ）及び正常画素間距離ＤＩＳＴ（ｉ）に基づいて、各スキャン方向毎の重み係数を演算する。本実施形態では、各スキャン方向毎の重み係数Ｍ（ｉ）を次の（２）式に従って演算する。
Ｍ（ｉ）＝Ｍｇ（ＧＲＡＤ（ｉ))×Ｍｄ（ＤＩＳＴ（ｉ))          …（２）
【０１３１】
なお（２）式においてＭｇ及びＭｄは重み係数であり、重み係数Ｍｇは濃度勾配の傾きＧＲＡＤが小さいときに重みが大きくなるように、例として図９（Ｂ）に示すようなマップを用いて濃度勾配の傾きＧＲＡＤに応じて定めることができる。また、重み係数Ｍｄについても正常画素間距離ＤＩＳＴが小さいときに重みが大きくなるように、例として図９（Ｃ）に示すようなマップを用いて正常画素間距離ＤＩＳＴに応じて定めることができる。
【０１３２】
これにより、濃度勾配の傾きＧＲＡＤが小さくかつ正常画素間距離ＤＩＳＴが小さいスキャン方向については重み係数Ｍの値が大きくなり、濃度勾配の傾きＧＲＡＤ及び正常画素間距離ＤＩＳＴの何れか一方が大きいスキャン方向については重み係数Ｍの値が小さく（或いは０に）されることになる。また、ステップ１６２の判定が肯定されることでスキャンが中止されたスキャン方向については、重み係数Ｍの値が無条件で０とされる。
【０１３３】
次のステップ１８０では、各スキャン方向毎の補間値ＶＡＬＵＥX（ｉ）及び重み係数Ｍ（ｉ）に基づき、処理対象の欠陥画素の修正画素値ＤＩXを次の（３）式に従ってＲ，Ｇ，Ｂ毎に演算する。
ＤＩX＝Σ（Ｍ（ｉ）×ＶＡＬＵＥX（ｉ））／Σ（Ｍ（ｉ))    …（３）
【０１３４】
（３）式では、各スキャン方向毎の補間値ＶＡＬＵＥＸ（ｉ）を重み係数Ｍ（ｉ）に応じて重み付けして修正画素値ＤＩＸを求めているので、個々の欠陥部毎や単一の欠陥部内の各部分毎に適正なスキャン方向がばらついていたとしても、適正な修正画素値を得ることができる。なお、上記のステップ１７８、１８０は、請求項４に記載の修正手段による最終修正値の演算に対応している。
【０１３５】
次のステップ１８２では、処理対象の欠陥部内の全ての欠陥画素に対して上記の処理を行ったか否か判定する。判定が否定された場合にはステップ１５０に戻り、修正画素値ＤＩXを未演算の欠陥画素に対してステップ１５０以降の処理を繰り返す。そして、ステップ１８２の判定が肯定されると、補間方法による修正値決定処理を終了する。
【０１３６】
上記のようにして補間方法による修正値決定処理を終了すると、図３のフローチャートのステップ１１４へ移行する。ステップ１１４では、処理対象の欠陥部の修正に輝度調整方法を適用するか否か判定する。適用割合α＝１であれば判定が否定されてステップ１１８へ移行するが、適用割合α≠１であれば判定が肯定されてステップ１１６へ移行し、輝度調整方法による修正値決定処理が行われる。以下、この輝度調整方法による修正値決定処理について、図１０のフローチャートを参照して説明する。
【０１３７】
ステップ２００では、処理対象の画像のＲ，Ｇ，Ｂの画像データ及びＩＲデータ（倍率色収差補正後のデータ）から、処理対象の欠陥部を含む一部領域（例えば処理対象の欠陥部及びその周囲領域から成る領域）のデータを各々抽出する。次のステップ２０２では、抽出した各データをハイパスフィルタに各々入力することで、Ｒ，Ｇ，Ｂ，ＩＲの各データから、Ｒの高周波成分データＨ−r、Ｇの高周波成分データＨ−g、Ｂの高周波成分データＨ−b、ＩＲの高周波成分データＨ−IRを各々生成する。
【０１３８】
次のステップ２０４では、処理対象の欠陥部に属する各欠陥画素の中から処理対象の欠陥画素として未処理の欠陥画素を選択し、高周波成分データＨ−r、Ｈ−g、Ｈ−b、Ｈ−IRから、前記選択した欠陥画素の高周波成分データh-r，h-g，h-b，h-IRを各々抽出する。次のステップ２０６では、処理対象の欠陥画素のＲ，Ｇ，ＢとＩＲの高周波成分の比（ゲインGainX：但しＸはＲ，Ｇ，Ｂの何れかを表す）を次の（４）式に従って演算する。
GainX＝h-x／h-IR                                              …（４）
なお、上記の（４）式では直流成分や低周波成分が除去された高周波成分データh-r，h-g，h-b，h-IRを用い、ゲインGainXとして高周波成分データh-r，h-g，h-bと高周波成分データh-IRの比を求めているので、このゲインGainXは、写真フィルムにおけるＲ，Ｇ，Ｂの各波長域の光とＩＲ光の屈折率の相違に起因するＲ，Ｇ，Ｂの各波長域の光とＩＲ光の透過光量の比率を表している。
【０１３９】
ステップ２０８ではＲ，Ｇ，Ｂ，ＩＲの各データから、処理対象の欠陥画素のデータＤｒ，Ｄｇ，Ｄｂ，ｉｒを各々抽出する。そしてステップ２１０では、ステップ２０６で演算したゲインGainＸに基づいて、処理対象の欠陥画素の修正画素値ＤＧＸを次の（５）式に従って演算する。
ＤＧＸ＝ＤＸ−ｉｒ×GainＸ  …（５）
（５）式の第２項は、写真フィルムにおけるＲ，Ｇ，Ｂの各波長域の光とＩＲ光の屈折率の相違に起因するＲ，Ｇ，Ｂの各波長域の光とＩＲ光の透過光量の比率を表すゲインGainＸを用いてデータｉｒを補正しているので、写真フィルムに付いている傷等に起因する処理対象の欠陥画素位置におけるＲ光又はＧ光又はＢ光の透過光量（の対数値）の変化量を正確に表す値となる。そして（５）式は欠陥画素の画素値を（ｉｒ×GainＸ）だけ変更しているので、修正画素値ＤＧＸとして、写真フィルムに付いている傷等に起因するＲ光又はＧ光又はＢ光の透過光量の変化を正確に補正した値を得ることができる。なお、上述したステップ２００〜ステップ２１０は請求項７に記載の修正手段による輝度変更量の演算に対応している。
【０１４０】
次のステップ２１２では、処理対象の欠陥部に属する全ての欠陥画素に対して上記の処理を行ったか否か判定する。判定が否定された場合にはステップ２０４に戻り、ステップ２０４以降の処理を繰り返す。そしてステップ２１２の判定が肯定されると、輝度調整方法による修正値決定処理を終了する。
【０１４１】
上記のようにして輝度調整方法による修正値決定処理を終了すると、図３のフローチャートのステップ１１８へ移行し、処理対象の欠陥部に対する修正値を決定する。本実施形態における欠陥部に対する修正値は、前記欠陥部に属する各欠陥画素の修正画素値から成り、処理対象の欠陥部の修正に補間方法及び輝度調整方法の何れか一方を適用する場合には、処理対象の欠陥部に属する各欠陥画素の修正画素値として補間方法又は輝度調整方法によって決定された修正画素値を各々設定することで、処理対象の欠陥部に対する修正値を決定することができる。
【０１４２】
また、処理対象の欠陥部の修正に補間方法及び輝度調整方法を各々適用する場合、処理対象の欠陥部に対する修正値は、補間方法によって決定された修正画素値をＤＩＸ、輝度調整方法によって決定された修正画素値をＤＧＸ、補間方法の適用割合をαとしたときに、処理対象の欠陥部に属する各欠陥画素の修正画素値Ｄ０Ｘを次の（６）式によって各々演算することで決定することができる。
Ｄ０Ｘ＝α×ＤＩＸ＋（１−α）×ＤＧＸ    …（６）
上記により、処理対象の欠陥部が精度良く修正されるように処理対象の欠陥部に対する修正値を決定することができる。ステップ１１８は本発明に係る修正手段による欠陥部の修正に対応している。
【０１４３】
次のステップ１２０では、欠陥部検出処理（ステップ１０２）で検出された全ての欠陥部に対してステップ１０４以降の処理を行ったか否か判定する。判定が否定された場合にはステップ１０４に戻り、未処理の他の欠陥部を処理対象の欠陥部としてステップ１０４以降の処理を繰り返す。これにより、欠陥部検出処理によって検出された全ての欠陥部に対し、所定の特徴量の演算、演算結果に基づく適用すべき修正方法の選択又は適用範囲（適用割合）の決定、修正値の決定が各々行われることになる。
【０１４４】
検出された全ての欠陥部に対して修正値が各々決定されると、ステップ１２０の判定が肯定されてステップ１２２へ移行し、各欠陥部に対する修正値を、欠陥部の位置を表す情報（例えば各欠陥部を構成する欠陥画素のアドレス）と共にイメージプロセッサ４０に通知し、欠陥部修正値決定処理を終了する。
【０１４５】
イメージプロセッサ４０では、ファインスキャン画像データに対し、制御部４２で欠陥部修正値決定処理が行われることで制御部４２から通知された修正値に従って欠陥部を修正する（詳しくは欠陥部に属する各欠陥画素の値を、通知された修正画素値に置き換える）欠陥部修正処理を行う。このように、イメージプロセッサ４０も本発明に係る修正手段に対応している。
【０１４６】
またイメージプロセッサ４０は、欠陥部修正処理を行った画像データに対し、制御部４２におけるセットアップ演算によって決定された処理条件で各種の画像処理を行い、Ｉ／Ｏコントローラ３８及びＩ／Ｆ回路５４を介してプリンタ１６へ出力する。これにより、印画紙６８に露光記録される画像から、修正対象として選択された欠陥部が消去される。
【０１４７】
なお、上記では本発明に係る複数種の修正方法の一例として補間方法及び輝度調整方法を説明したが、これに限定されるものではなく、ローパスフィルタ等をかけることで欠陥部をぼかす、所謂ぼかし方法を加えてもよいし、処理対象の欠陥部の所定の特徴量の値によっては無修正（欠陥部の修正を行なわない）を選択するようにしてもよい。
【０１４８】
また、上記では欠陥部におけるＲ，Ｇ，Ｂの濃度変化の相関を表す特徴量等の所定の特徴量を演算し、演算結果に基づいて適用割合αを決定していたが、これに限定されるものではなく、欠陥部におけるＲ，Ｇ，Ｂ，ＩＲの各波長域の光の透過光量と、欠陥部の周囲の領域におけるＲ，Ｇ，Ｂ，ＩＲの各波長域の光の透過光量と、を比較し、何れの波長域の光も透過光量が低下していた場合には輝度調整方法を選択し、Ｒ，Ｇ，Ｂのうち少なくとも１つの波長域の光の透過光量が増大していた場合には補間方法を選択するようにしてもよい。上記のように修正方法を選択することは請求項１及び請求項２の発明に対応している。
【０１４９】
また、上記では補間方法による修正値決定処理（図７）において、各方向について濃度勾配及び補間画素間距離を演算して各方向の重みを決定することを、欠陥部に属する全ての欠陥画素について各々行っていたが、これに限定されるものではなく、単一の欠陥部に属する全ての欠陥画素に対し、各方向の重みとして同一の値を用いて（例えば欠陥部の中央、或いは重心に相当する位置に位置している画素について求めた各方向の重みを、単一の欠陥部に属する全ての欠陥部に共通に用いる等）、各欠陥画素の最終補間値の演算を行うようにしてもよい。
【０１５０】
また、上記では輝度調整方法による修正値決定処理（図１０）において、画像記録材料における可視光と非可視光の屈折率の相違を表す特徴量としてゲインGainXを用いていたが、これに限定されるものではなく、写真フィルムにおける光の波長毎の屈折率の相違は、写真フィルムのフィルムベースの材質によっておおよそ定まるので、例えばフィルムタイプ（１３５サイズ／２４０サイズ／…）毎にＲ，Ｇ，Ｂの各波長域とＩＲ光の波長域における屈折率の相違を予め測定してデータとして記憶しておき、写真フィルムのフィルムタイプを検出し、対応するデータを読み出して（５）式の演算等に用いてもよい。
【０１５１】
更に、上記では写真フィルムに記録されている画像を読み取る画像読取装置の一例として、光電変換セルがマトリクス状に配列されたエリアセンサ（エリアＣＣＤ３０）によって画像を読み取る構成を説明したが、これに限定されるものではなく、光電変換セルがライン状に配列されたラインセンサによって画像を読み取るようにしてもよい。また、上記では写真フィルムを透過した光を光電変換することで画像を読み取る構成を説明したが、これに限定されるものではなく、写真フィルムを反射した光を光電変換することで画像を読み取る構成を採用してもよい。
【０１５２】
また、上記ではプレスキャン時にＲ，Ｇ，Ｂの読み取りを行い、ファインスキャン時にＲ，Ｇ，Ｂ，ＩＲの読み取りを行う例を説明したが、これに限定されるものではなく、ＩＲ読み取りはプレスキャン時にのみ行ってもよいし、プレスキャン時及びファインスキャン時に各々行ってもよい。
【０１５３】
また、上記では写真フィルムに付いた傷や異物に起因する欠陥部を修正する場合を説明したが、本発明はこれに限定されるものではない。例えば、フィルムスキャナやデジタルカメラ等に設けられているＣＣＤ等の光電変換素子の中に欠陥画素が存在していた場合、画像或いは被写体を撮像することで得られる画像データが表す画像に、傷や異物に起因する欠陥部と同様の欠陥部が生ずる。この画素欠陥に起因する欠陥部の修正に本発明を適用し、各欠陥部の特徴量に応じて最適な修正方法の選択、或いは各修正方法の適用範囲の決定を行ってもよい。
【０１５４】
画素欠陥に起因する欠陥部は、例えば装置製造時に欠陥画素に起因する欠陥部を検出することは、例えば画像処理装置の製造時に、検査によって発見された光電変換素子の欠陥画素を特定するための情報を装置内蔵のＲＯＭ等に記憶しておき、ＲＯＭ等に記憶された情報を読み出すことで検出することができる。また、例えば単一の光電変換素子によって可視光及びＩＲ光の光電変換（読み取り）を各々行う構成（例えばターレットを回転させて各波長域の光の読み取りを順次行う構成）のフィルムスキャナであれば、光電変換素子の画素欠陥に起因する画像の欠陥部の検出は、可視光の読み取り結果とＩＲ光の読み取り結果を比較することで行うことも可能である。
【０１５５】
【発明の効果】
以上説明したように本発明は、画像が記録された画像記録材料を透過又は反射した非可視光を光電変換した結果から画像の欠陥部を検出し、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として補間方法及び輝度調整方法の何れかを選択するか、又は、欠陥部の修正における補間方法及び輝度調整方法の各々の適用範囲を決定すると共に、画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光については欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低く、かつ複数の波長域のうちの少なくとも１つの波長域の光については、前記欠陥部における透過光量が前記周囲の領域における透過光量より高い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の情報を該欠陥部の周囲の領域の情報から補間によって求める補間方法を選択し、画像情報に対し、補間方法及び輝度調整方法のうち選択した修正方法を適用して欠陥部の修正を行うか、又は、補間方法及び輝度調整方法を決定した適用範囲内で各々適用して欠陥部の修正を行うので、様々な欠陥部を各々精度良く修正することが可能となる、という優れた効果を有する。
【０１５６】
また本発明は、画像が記録された画像記録材料を透過又は反射した非可視光を光電変換した結果から画像の欠陥部を検出し、欠陥部の特徴量としての、画像情報が表す画像の欠陥部付近における各成分色毎の濃度変化の相関、前記画像の欠陥部の周囲の領域における濃度の分布、欠陥部が前記画像中の主要部領域内に存在しているか否か、及び、欠陥部の前記主要部領域との重複割合の少なくとも１つに基づいて、欠陥部の修正に適用すべき修正方法として補間方法及び輝度調整方法の何れかを選択するか、又は、欠陥部の修正における補間方法及び輝度調整方法の各々の適用範囲を決定すると共に、画像記録材料に非可視光及び可視域内の所定の複数の波長域の光を各々照射したときに、非可視光及び複数の波長域の光の何れについても、前記欠陥部における透過光量が前記欠陥部の周囲の領域における透過光量より低い場合には、欠陥部の修正に適用すべき修正方法として、欠陥部の輝度が変化するように画像情報を修正する輝度調整方法を選択し、画像情報に対し、補間方法及び輝度調整方法のうち選択した修正方法を適用して欠陥部の修正を行うか、又は、補間方法及び輝度調整方法を決定した適用範囲内で各々適用して欠陥部の修正を行うので、様々な欠陥部を各々精度良く修正することが可能となる、という優れた効果を有する。
【図面の簡単な説明】
【図１】  本実施形態に係る画像処理システムの概略構成図である。
【図２】  フィルムスキャナの概略構成を示す斜視図である。
【図３】  欠陥部修正値決定処理の内容を示すフローチャートである。
【図４】  （Ａ）は写真フィルムの傷及び異物が付いていない箇所、傷が付いている箇所、異物が付いている箇所における光の透過を各々示す概念図、（Ｂ）は写真フィルムのバック面に傷が付いている場合、（Ｃ）は写真フィルムの乳剤面に傷が付いている場合の光の透過を各々示す概念図である。
【図５】  （Ａ）はバック面に傷が付いている場合、（Ｂ）は乳剤面に傷が付いている場合のＲ光、Ｇ光、Ｂ光、ＩＲ光の透過光量の変化の一例を示す線図である。
【図６】  （Ａ）乃至（Ｃ）は、欠陥部の特徴量の演算結果から適用すべき修正方法を選択又は適用範囲を決定するためのマップの一例を示す線図である。
【図７】  補間方法による修正値決定処理の内容を示すフローチャートである。
【図８】  図７の処理におけるスキャン方向の一例を示す概念図である。
【図９】  （Ａ）は正常画素の画素値からの欠陥画素の画素値の補間演算を説明するための線図、（Ｂ）は傾きＧＲＡＤと重み係数Ｍｇの関係、（Ｃ）は正常画素間距離ＤＩＳＴと重み係数Ｍｄの関係を各々示す線図である。
【図１０】  輝度調整方法による修正値決定処理の内容を示すフローチャートである。
【符号の説明】
１２    フィルムスキャナ
１４    画像処理装置
２０    光源
２３    フィルタユニット
２６    写真フィルム
３０    エリアＣＣＤ
４０    イメージプロセッサ
４２    制御部
７２    情報記憶媒体
【図１】
0004005277.tif 000003
【図２】
0004005277.tif 000004
【図３】
0004005277.tif 000005
【図４】
0004005277.tif 000006
【図５】
0004005277.tif 000007
【図６】
0004005277.tif 000008
【図７】
0004005277.tif 000009
【図８】
0004005277.tif 000010
【図９】
0004005277.tif 000011
【図１０】
0004005277.tif 000012