(57)【要約】【課題】欠陥画素に対して補間処理を施した場合に、欠陥画素に対応する箇所をできるだけ目立たなくする。【解決手段】画像処理装置２は、乳剤傷画素を検出する欠陥画素検出部１１と、上記乳剤傷画素を対象として補間処理を施すことにより、上記乳剤傷画素の修復画像データを作成する補間部１２と、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定する標準偏差算出部１３と、乳剤傷画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算する粒状付加部１４とを備えている。【選択図】  図１
2004266481.tif 000002
【特許請求の範囲】
【請求項１】
画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理方法であって、
上記欠陥による影響を受けている欠陥画素を検出するステップと、
上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成するステップと、
画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定するステップと、
欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算するステップとを備えることを特徴とする画像処理方法。
【請求項２】
入力画像上で基準画素数からなるマスクを所定画素数ごとにシフトすると共に、各シフト位置で上記マスクに含まれる各画素の画像データの標準偏差を算出するステップと、
各シフト位置における各マスクの上記標準偏差の平均値を算出するステップとを備え、
上記平均値を上記入力画像の粒状度として決定することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
各シフト位置で画素の重複が生じないように上記マスクをシフトすることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
欠陥画素の画像データを除外して上記標準偏差を算出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理方法。
【請求項５】
−０．５から＋０．５の範囲で上記乱数を発生することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理方法。
【請求項６】
上記画像記録材は写真フィルムであることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理方法。
【請求項７】
上記欠陥は、上記写真フィルムの乳剤面に付いた傷であることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理装置であって、
上記欠陥による影響を受けている欠陥画素を検出する欠陥画素検出部と、
上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成する補間部と、
画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定する標準偏差算出部と、
欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算する粒状付加部とを備えることを特徴とする画像処理装置。
【請求項９】
請求項１ないし７のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムをコンピュータにて読み取り可能に記録してなることを特徴とする画像処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像記録材からスキャナ等により読み取ったデジタル画像データに対し、上記画像記録材に付いた傷、ごみ、汚れ等の欠陥による影響を除去する画像処理方法、画像処理装置、画像処理プログラム、画像処理プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
画像記録材としての写真フィルムに記録された画像を入力すると共に、印画紙へ出力するプリンタには、写真フィルムの画像を透過した光を用いて印画紙を露光するアナログ方式のプリンタと、写真フィルムの画像を透過した光からスキャナ等によりデジタル画像データ（以下、「画像データ」とする）を読み込み、上記画像データに基づいて印画紙を露光するデジタル方式のプリンタとがある。
【０００３】
両方式とも、写真フィルムに傷、ほこり、汚れ（以下、総称して「欠陥」とする）が付いていると、印画紙に焼き付けられた画像に濃度の変動や欠落などの不具合が生じる場合がある。このため、従来、このような不具合を緩和するために、写真フィルムを透過させる光として拡散光が両方式ともに利用されている。さらに、デジタル方式のプリンタの場合は、画像データに画像処理を施すことにより、画像データから上記欠陥の影響を除去することが可能である（特許文献１〜４参照）。
【０００４】
ここで、上記欠陥の影響を除去する画像処理を以下説明する。まず、写真フィルムに赤外光を透過させる。赤外光は、写真フィルム上の上記欠陥により散乱されるが、写真フィルムに記録されている画像によって影響を受けにくい。したがって、写真フィルムを透過した赤外光をスキャナ等が読み込むことにより得られる赤外画像データにおいては、主として上記欠陥に関する情報が含まれることになる。これにより、入力画像において、上記欠陥の影響を受けている画素は、その赤外画像データが低下する傾向にある。よって、赤外画像データが相対的に低下している画素を、上記欠陥による影響を受けている画素（以下、「欠陥画素」とする）と判断できる。
【０００５】
つぎに、写真フィルムに可視光を透過させる。ここで、可視光は、写真フィルムの画像によって影響を受けると共に、写真フィルム上の上記欠陥により散乱される。したがって、上記欠陥画素に関して、写真フィルムを透過した可視光をスキャナ等が読み込むことにより得られるＲ（Ｒｅｄ：赤），Ｇ（Ｇｒｅｅｎ：緑），Ｂ（Ｂｌｕｅ：青）ごとの画像データにおいても、上記赤外画像データと同程度に値の低下が生じていると考えられる。
【０００６】
よって、上記欠陥画素に関するＲ，Ｇ，Ｂごとの画像データに対して、赤外画像データの低下量を補正量として加算することにより、上記欠陥による影響を除去する処理を行うことができる。
【０００７】
しかしながら、上述した赤外画像データを用いた画像処理は、写真フィルムのベース面に付いている傷の影響を受けている欠陥画素に対しては有効であるが、乳剤面に付いている傷（以下、「乳剤傷」とする）の影響を受けている画素に対してはその影響を除去することが困難である。その理由を以下説明する。
【０００８】
写真フィルムの乳剤面に傷が付いている状態とは、写真フィルムを形成する色素が削られているため、画像が破壊されている状態をいう。また、フィルムの乳剤面とは、図８に示すように、ベース面上に、赤感光層（シアン色素）、緑感光層（マゼンタ色素）、青感光層（イエロー色素）が順に構成されている感光層をいう。
【０００９】
ここで、上記乳剤面に傷が付くと、図８に示すように、青感光層から順に各層が削られると共に、各層の欠落量は異なるものとなる。これにより、乳剤傷により影響を受けた画素（以下、「乳剤傷画素」とする）におけるＲ，Ｇ，Ｂごとの画像データは、乳剤傷がない状態に比べて、色成分ごとに異なる量で増加する。よって、乳剤傷画素に関して、Ｒ，Ｇ，Ｂごとの画像データに対して、赤外画像データの低下量をそれぞれ加算する処理を行っても、乳剤傷による影響を除去することが困難である。
【００１０】
したがって、上記乳剤傷画素に関しては、上記赤外画像データによる処理と異なる処理が必要になる。一方、特許文献５の段落〔０１０４〕によれば、上記乳剤傷画素の画像データに対しては、補間処理により、乳剤傷による影響を除去することが好ましいとされている。
【００１１】
【特許文献１】
特開平６−２８４６８号公報（公開日：平成６年２月４日）
【００１２】
【特許文献２】
特開２０００−３４１４７３号公報（公開日：平成１２年１２月８日）
【００１３】
【特許文献３】
特開２０００−３４９９６８号公報（公開日：平成１２年１２月１５日）
【００１４】
【特許文献４】
特開２００１−１５７００３号公報（公開日：平成１３年６月８日）
【００１５】
【特許文献５】
特開２００１−７８０３８号公報（公開日：平成１３年３月２３日）
【００１６】
【発明が解決しようとする課題】
ここで、上記補間処理とは、乳剤傷画素等の欠陥画素の周囲に位置する正常画素（上記欠陥の影響を受けていない画素）のＲ，Ｇ，Ｂごとの画像データから、欠陥画素のＲ，Ｇ，Ｂごとの修復画像データを作り出すことにより、上記欠陥による影響を除去しようとするものである。しかし、上記補間処理によって、欠陥のない状態の色，濃度を再現することは可能であるものの、出力画像が平滑化されてしまい、粒状度が低下する。つまり、出力画像において、上記欠陥画素に対応する箇所の粒状（ノイズ成分）が他の箇所に比べて少なくなってしまい、上記欠陥画素に対応する箇所が目立ってしまう。
【００１７】
よって、上記欠陥画素に対して補間処理を施したとしても、処理を施した画素が目立つ画像を出力することになり、上記欠陥の影響が除去されている画像を出力していると言い難い。
【００１８】
本発明は、上記の問題点を解決するためになされたもので、その目的は、乳剤傷画素等の欠陥画素に対して補間処理を施した場合に、欠陥画素に対応する箇所をできるだけ目立たなくすることにより、上記欠陥による影響を除去する画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
請求項１に記載の画像処理方法は、上記課題を解決するために、画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理方法であって、上記欠陥による影響を受けている欠陥画素を検出するステップと、上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成するステップと、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定するステップと、欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算するステップとを備えることを特徴とする。
【００２０】
また、請求項８に記載の画像処理装置は、上記課題を解決するために、画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理装置であって、上記欠陥による影響を受けている欠陥画素を検出する欠陥画素検出部と、上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成する補間部と、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定する標準偏差算出部と、欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算する粒状付加部とを備えることを特徴とする。
【００２１】
上記構成または手順によれば、入力画像から、画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を受けている欠陥画素を検出している。そして、上記欠陥画素を対象として補間処理を施しているため、欠陥画素ごとに修復画像データを作成できる。ここで、上記欠陥画素に係る画素の粒状度は低下することになる。
【００２２】
つぎに、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定している。ここで、上記標準偏差は画像データの散らばり具合の尺度と考えることができる。また、画素における粒状度は、上記画素を含んだ周辺領域に属する各画素の画像データの散らばり具合に起因するものといわれている。したがって画像データの標準偏差を上記粒状度と考えることができるのである。
【００２３】
そして、欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算している。つまり、欠陥画素ごとに、入力画像における画像データの散らばり具合の尺度に乱数を乗じていることから、入力画像の粒状に疑似する散らばりを各欠陥画素に持たせることができる。これにより、上記欠陥画素に対して補間処理を施した場合であっても、欠陥画素に対応する箇所をできるだけ目立たなくすることが可能になる。
【００２４】
請求項２に記載の画像処理方法は、上記手順に加えて、入力画像上で基準画素数からなるマスクを所定画素数ごとにシフトすると共に、各シフト位置で上記マスクに含まれる各画素の画像データの標準偏差を算出するステップと、各シフト位置における各マスクの上記標準偏差の平均値を算出するステップとを備え、上記平均値を上記入力画像の粒状度として決定することを特徴とする。
【００２５】
ある画素における粒状度は、上記画素を含んだ周辺領域における各画素の画像データの散らばり具合に起因する。一方、入力画像に濃淡のエッジが多い場合、入力画像の各画素の標準偏差は上記濃淡のエッジの影響を受ける。したがって、入力画像の各画素における画像データの標準偏差よりも、入力画像の数画素単位における画像データの標準偏差の平均値のほうが、入力画像の粒状度に近いと考えられる。
【００２６】
そこで、上記手順によれば、入力画像上で基準画素数からなるマスクを所定画素数ごとにシフトすると共に、各シフト位置で上記マスクに含まれる各画素の画像データの標準偏差を算出している。つまり、数画素単位ごとで画像データの標準偏差を求めている。
【００２７】
さらに、各シフト位置における各マスクの上記標準偏差の平均値を算出し、上記平均値を入力画像の粒状度として決定している。これにより、単に入力画像における各画素の画像データの標準偏差を上記粒状度とするよりも、より入力画像の粒状度に近い値を求めることができる。
【００２８】
請求項３に記載の画像処理方法は、上記手順に加えて、各シフト位置で画素の重複が生じないように上記マスクをシフトすることを特徴とする。
【００２９】
上記手順によれば、各シフト位置で画素の重複が生じないように上記マスクをシフトするため、マスクのシフト回数を減少させることができ、処理速度を向上させることが可能になる。
【００３０】
請求項４に記載の画像処理方法は、上記手順に加えて、欠陥画素の画像データを除外して上記標準偏差を算出することを特徴とする。
【００３１】
欠陥画素の画像データは、本来のデータではなく異常なデータであり、このようなデータを除外して上記標準偏差を求めることにより、入力画像の画像データの標準偏差をより正確に算出することができる。
【００３２】
請求項５に記載の画像処理方法は、上記手順に加えて、−０．５から＋０．５の範囲で上記乱数を発生することを特徴とする。
【００３３】
ある画像データ群に対して、標準偏差の範囲で散らばっている正のデータを付加しても、各画像データの平均値が高くなってしまい、本来の画像全体の濃度が失われる。したがって、ある画像データ群に対して、各画像データの平均を変えることなく粒状を付加するためには、０を中央値とした標準偏差の範囲（つまり、−標準偏差〜＋標準偏差の範囲）で散らばっているデータを画像データ群に対して付加する必要がある。
【００３４】
一方、画像データ群から得られる標準偏差は、画像の粒状度のみならず、画像における濃淡のエッジの影響も受けている。したがって、ある画像データ群に対して、±標準偏差の範囲で散らばっているデータを付加しても、入力画像本来の粒状度よりも強い粒状度が付加されることになる。よって、入力画像本来の粒状度を付加するためには、付加するデータの散らばりを調整する必要がある。ここで、経験的に好ましい付加するデータの散らばりの幅は、±０．５×標準偏差であるため、−０．５〜＋０．５の範囲で上記乱数を発生させると入力画像本来の粒状度を付加できる。
【００３５】
請求項６に記載の画像処理方法は、上記手順に加えて、上記画像記録材が写真フィルムであることを特徴とする。
【００３６】
写真フィルムに上記欠陥が付いていて、写真フィルムから取り込まれた画像データから上記欠陥による影響を除去する場合、補間処理が施されることが多いため、上記粒状付加処理が必要となる。
【００３７】
請求項７に記載の画像処理方法は、上記手順に加えて、上記欠陥が、上記写真フィルムの乳剤面に付いた傷であることを特徴とする。
【００３８】
写真フィルムの乳剤面に付いた傷の影響を上記画像データから除去する場合、赤外画像データに基づく画像処理では困難であり、補間処理が必須となる。したがって、乳剤面についた傷による影響を受けた画素に対しては、上記粒状付加処理が必要であるといえる。
【００３９】
請求項９に記載の画像処理プログラムは、上記課題を解決するために、請求項１ないし７のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする。また、請求項１０に記載の画像処理プログラムを記録した記録媒体は、上記課題を解決するために、請求項９に記載の画像処理プログラムをコンピュータにて読み取り可能に記録してなることを特徴とする。
【００４０】
これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに画像処理プログラムをインストールすることによって、該コンピュータを用いて上記の画像処理方法を実現する、言い換えれば、該コンピュータを画像処理装置として機能させることができる。
【００４１】
また、本発明の画像処理方法は、上記課題を解決するために、画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理方法であって、上記欠陥による影響を受けている欠陥画素を検出するステップと、上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成するステップと、画像データの分散を算出し、上記分散に基づいて入力画像の粒状度を決定するステップと、欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算するステップとを備える手順であっても構わない。
【００４２】
【発明の実施の形態】
本発明は、画像記録材から取り込んだデジタル画像データ（以下、「画像データ」とする）について、画像記録材に付いた傷、ほこり、汚れ等の欠陥の影響を除去する画像処理に関するものである。以下では、画像記録材としての写真フィルムにおいて、上記写真フィルムの乳剤傷による影響を画像データから除去する画像処理方法，画像処理装置の実施形態を説明する。
【００４３】
本発明の実施の一形態について図に基づいて説明すれば、以下のとおりである。図１は、本実施形態の画像出力システムの概略構成を示すブロック図である。上記画像出力システムは、フィルムスキャナ１と、画像処理装置２と、写真焼付装置３とを備えた構成となっている。
【００４４】
フィルムスキャナ１は、例えば、光源からの光を写真フィルムであるネガフィルムに照射し、その透過光をＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）で受光することにより、ネガフィルムに記録された画像を入力画像としたＲ，Ｇ，Ｂごとのアナログ信号を読み取るものである。さらに、フィルムスキャナ１は、読み取ったＲ，Ｇ，Ｂごとのアナログ信号を、Ｒ，Ｇ，Ｂごとの画像データ（デジタルデータ）に変換し、上記画像データを画像処理装置２へ出力する。
【００４５】
また、フィルムスキャナ１は、上記ネガフィルムに赤外光を照射し、その透過光をＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）で受光することにより、ネガフィルムに記録された画像を入力画像とした赤外のアナログ信号を読み取る。さらに、フィルムスキャナ１は、読み取った赤外のアナログ信号を、赤外画像データ（ＩＲ，デジタルデータ）に変換し、上記赤外画像データを画像処理装置２へ出力する。
【００４６】
画像処理装置２は、上記Ｒ，Ｇ，Ｂごとの画像データおよび上記赤外画像データを入力すると共に、Ｒ，Ｇ，Ｂごとの画像データから、写真フィルムに付いている乳剤傷による影響を除去するための画像処理を実現するブロックである。そして、画像処理装置２は、上記画像処理を施したＲ，Ｇ，Ｂごとの画像データを写真焼付装置３へ出力する。
【００４７】
なお、画像処理装置２は、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）ベースの装置によって構成され、図示はしないが、ＰＣ本体、モニターなどの表示手段、キーボード、マウスなどの入力手段などによって構成されている。この画像処理装置２については、後に詳細に説明する。
【００４８】
写真焼付装置３は、画像処理装置２によって上記画像処理がなされたＲ，Ｇ，Ｂごとの画像データに応じて、感光材料である印画紙を露光することにより、印画紙上に画像を焼き付けるものである。上記画像データに応じた光を印画紙に照射するヘッドとしては、上記画像データに応じて画素ごとに印画紙への照射光を変調できる光変調素子が用いられる。
【００４９】
このような光変調素子としては、例えばＰＬＺＴ露光ヘッド、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）パネル、レーザー、ＦＯＣＲＴ（Ｆｉｂｅｒ  Ｏｐｔｉｃ  Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）等が挙げられる。
【００５０】
なお、写真焼付装置３は、ネガフィルムのスキャニングと印画紙の露光とを両方行うことができるオートプリンタとして構成してもよい。この場合、画像出力システムを、画像の読み取りから焼き付けまでを行うオートプリンタと、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などによって構成される画像処理装置２とを接続した構成とすることにより、システムの簡素化を図ることができる。
【００５１】
つぎに、画像処理装置２について詳細に説明する。画像処理装置２は、図１に示すように、欠陥画素検出部１１、補間部１２、標準偏差算出部１３、粒状付加部１４から構成されている。
【００５２】
欠陥画素検出部１１は、Ｒ，Ｇ，Ｂごとの画像データおよび赤外画像データをフィルムスキャナ１から入力すると共に、入力画像を構成する全画素から乳剤傷画素を精度よく検出するためのブロックである。そして、欠陥画素検出部１１は、Ｒ，Ｇ，Ｂごとの画像データを補間部１２および標準偏差算出部１３へ出力すると共に、乳剤傷画素の位置を示した欠陥画素情報を補間部１２および粒状付加部１４へ出力する。
【００５３】
ここで、乳剤傷を検出する手法として、特願２００２−２９５３３０号（本願の出願前の確認時点では未公開）に記載されている技術を用いる。この技術の原理の概略は後に説明する。
【００５４】
補間部１２は、欠陥画素検出部１１から送られてきたＲ，Ｇ，Ｂごとの画像データ、および上記欠陥画素情報に基づいて、上記乳剤傷画素のみを対象として補間処理を施すことにより、各乳剤傷画素の修復画像データを作成するブロックである。そして、補間部１２は、Ｒ，Ｇ，Ｂごとの画像データ（修復画像データも含む）を粒状付加部１４へ出力する。
【００５５】
ここで、上記補間処理とは、乳剤傷画素の周囲に位置する上記正常画素を格子点画素として、上記格子点画素の画像データから修復画像データを作成し、上記修復画像データを補間対象となる乳剤傷画素のデータとする処理をいう。なお、上記補間処理として、特許文献５の段落番号〔０１１７〕から〔０１３５〕に記載されている手順を適用しても構わない。
【００５６】
標準偏差算出部１３は、欠陥画素検出部１１から送られてきたＲ，Ｇ，Ｂごとの画像データに基づいて、画像データの標準偏差を算出すると共に、上記標準偏差を入力画像の粒状度として決定するブロックである。そして、標準偏差算出部１３は、決定した粒状度を示す粒状度データを粒状付加部１４へ出力する。
【００５７】
粒状付加部１４は、補間部１２から送られてきたＲ，Ｇ，Ｂごとの画像データ、欠陥画素検出部１１から送られてきた欠陥画素情報、および標準偏差算出部１３から送られてきた粒状度データに基づいて、各乳剤傷画素に対して粒状付加処理を実現するブロックである。ここで、上記粒状付加処理とは、乳剤傷画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算する処理をいう。なお、標準偏差算出部１３における粒状度を決定する方法および粒状付加部１４における上記粒状付加処理を後に詳細に説明する。
【００５８】
そして、粒状付加部１４は、粒状処理後のＲ，Ｇ，Ｂごとの画像データを写真焼付装置３へ出力する。
【００５９】
つぎに、画像処理装置２における処理の流れを図３に基づいて説明する。まず、欠陥画素検出部１１が、フィルムスキャナ１から入力したＲ，Ｇ，Ｂごとの画像データおよび赤外画像データを基に、入力画像を構成する全画素から乳剤傷画素を検出する（Ｓ１）。なお、乳剤傷の付いた写真フィルムから取り込んだサンプル画像を図５に示す。
【００６０】
さらに、補間部１２が、欠陥画素検出部１１から入力したＲ，Ｇ，Ｂごとの画像データおよび欠陥画素情報を基に、上記乳剤傷画素のみを対象として補間処理を施す（Ｓ２）。これにより、各乳剤傷画素の修復画像データを作成できる。ここで、図５のサンプル画像における乳剤傷画素に補間処理を施した後のサンプル画像を図６に示す。
【００６１】
そして、標準偏差算出部１３が、画像データの標準偏差を算出し、上記標準偏差を入力画像の粒状度として決定する（Ｓ３）。その後、粒状付加部１４が、Ｒ，Ｇ，Ｂごとの画像データ、欠陥画素情報、および入力画像の粒状度を示す粒状度データに基づいて、粒状付加処理を実行する（Ｓ４）。ここで、図６の画像における乳剤傷画素に対し粒状付加処理を施した後のサンプル画像を図７に示す。そして、粒状付加部１４が粒状付加処理後のＲ，Ｇ、Ｂごとの画像データを写真焼付装置３へ出力して、写真焼付装置３が粒状付加処理後のＲ，Ｇ，Ｂごとの画像データに基づいて、印画紙上に画像を焼き付ける。
【００６２】
ここで、欠陥画素検出部１１において実行される乳剤傷画素を検出する処理（Ｓ１）について詳細に説明する。
【００６３】
＜乳剤傷画素を検出する処理＞
まず、欠陥画素検出部１１は、入力画像のＣＦ値を算出するために、入力画像を構成する各画素に関して、（１）（２）式の演算を実行する。
第１の変数Ｘ＝Ｒｄａｔｋ，ｌ−ＩＲｄａｔｋ，ｌ＋ＩＲａｖｅｋ，ｌ…（１）
第２の変数Ｙ＝Ｒｄａｔｋ，ｌ…（２）
Ｒｄａｔｋ，ｌ：入力画像の各画素のＲの画像データ
ＩＲｄａｔｋ，ｌ：入力画像の各画素のＩＲの画像データ
ＩＲａｖｅｋ，ｌ：入力画像の各画素のＩＲの画像データの平均値
さらに、欠陥画素検出部１１は、（１）（２）式で求めた第１の変数Ｘと第２の変数Ｙとを用いて、（３）式の回帰計算を実行する。
１次回帰式Ｙ＝αＸ＋β…（３）
ここで、（３）式について説明する。従来技術の項で説明したように、赤外画像データは、上記欠陥によって影響を受けると共に、写真フィルム上の画像によって影響を受けない。そこで、（１）式におけるＩＲａｖｅｋ，ｌを正常画素の赤外画像データとみなすと、（−ＩＲｄａｔｋ，ｌ＋ＩＲａｖｅｋ，ｌ）を上記欠陥画素の欠陥がない状態からの赤外画像データの低下量と考えることができる。したがって、（３）式における切片βを、各欠陥画素の欠陥がない状態からの赤外画像データの低下量の平均値と考えることができる。
【００６４】
つぎに、欠陥画素検出部１１は（４）式の演算を実行する。
ＣＦ値＝ＩＲａｖｅｋ，ｌ＋β…（４）
ＣＦ値とは、欠陥がない状態の写真フィルムから取り込んだ赤外画像データをいう。（４）式が成立するのは、赤外画像データの平均値は上記欠陥により低下するため、ＣＦ値と赤外画像データの平均値との差を、各欠陥画素の欠陥がない状態からの赤外画像データの低下量の平均値と考えることができるからである。したがって、このようにして求めたＣＦ値を上記正常画素の赤外画像データと考えることができる。
【００６５】
さらに、欠陥画素検出部１１は、このようにしてＣＦ値を算出した後、乳剤傷画素の検出を実行する。ここで、乳剤傷画素の赤外画像データは、上記乳剤傷画素を中心とした所定範囲（例えば７×７画素）に位置する正常画素の赤外画像データの平均値よりも所定量低下していると考えられる。赤外光は乳剤傷によっても散乱するからである。よって、入力画像上に基準画素数（７×７画素）からなるマスクを設定し、以下に示す（５）式を満たす中心画素を乳剤傷画素と判定する条件を設定できる。なお、欠陥画素検出部１１は、赤外画像データがＣＦ値以上を示す画素を正常画素として検出する。ＣＦ値とは写真フィルムに欠陥がない状態の赤外画像データであるため、赤外画像データがＣＦ値以上の画素を正常画素と考えることができるからである。
ＩＲｄａｔｍ，ｎ＜ＩＲａｖｅｍ，ｎ―第１所定量…（５）
ＩＲｄａｔｍ，ｎ：マスク内における中心画素の赤外画像データ
ＩＲａｖｅｍ，ｎ：マスク内における各正常画素の赤外画像データの平均値
一方、乳剤傷とは、写真フィルムの乳剤面における色成分ごとの発色層が欠落することにより生じる傷をいう。したがって、写真フィルムの乳剤傷に光を照射すると、欠落している箇所は光を吸収しないため、乳剤傷のない状態より透過光量が増加する。つまり、乳剤傷画素においては、各色成分の画像データの平均値Ｄｄａｔが、乳剤傷のない状態に比べて上昇している。ここで、各色成分の画像データの平均値Ｄｄａｔは、（６）式により算出することができる。
Ｄｄａｔ＝（Ｒ＋Ｇ＋Ｂ）／３…（６）
Ｒ：Ｒの画像データ
Ｇ：Ｇの画像データ
Ｂ：Ｂの画像データ
また、フィルムスキャナ１において、入力画像のアナログ信号は、標本化および量子化されることにより画像データ（デジタルデータ）に変換されている。したがって、上記画像データから再現される画像にあっては、多数の画素が同一絵柄の情報を共有するものである。よって、ある画素を中心とした所定領域内において、該所定領域内の全ての画素が正常画素だとすれば、該所定領域内の各画素のＤｄａｔはほぼ均一であると考えることができる。つまり、入力画像上において乳剤傷画素を中心として所定画素数のマスクを設定すれば、上記マスク内に位置する各正常画素のＤｄａｔの平均値は、上記乳剤傷画素における乳剤傷がない状態のＤｄａｔと考えることができる。さらに、乳剤傷画素においては、各色成分の画像データの平均値Ｄｄａｔが、乳剤傷のない状態に比べて上昇していることを考えあわせると、乳剤傷画素のＤｄａｔは、周囲に位置する各正常画素のＤｄａｔの平均値よりも所定量高いと考えられる。よって、入力画像上に基準画素数からなる（７×７画素）のマスクを設定して、上記マスク内の各画素に関して、（７）式に示す条件を満たす中心画素を乳剤傷画素と考えることができる。
Ｄｄａｔｍ，ｎ＞Ｄａｖｅｍ，ｎ＋第２所定量…（７）
Ｄｄａｔｍ，ｎ：マスク内における中心画素のＤｄａｔ
Ｄａｖｅｍ，ｎ：マスク内における各正常画素のＤｄａｔの平均値
ここで、（５）式および（７）式の条件を併用すると、乳剤傷画素を精度よく判別することができる。よって、欠陥画素検出部１１は、入力画像の各画素に関し、（５）式かつ（７）式の条件を満たす画素を乳剤傷画素として検出する。なお、ここでは、乳剤傷画素を検出する方法として、特願２００２−２９５３３０号に記載の手順の一部を採用しているが、当該手順に限定されるものではない。他の乳剤傷画素を検出する手順として、特開２００１−７８０３８号公報の段落番号〔００９８〕から〔０１０５〕に記載されている手順を適用しても構わない。
【００６６】
つぎに、標準偏差算出部１３において実行される入力画像の粒状度を決定する手順を図４のフローチャートに基づいて説明する。
【００６７】
＜粒状度の決定方法および粒状付加処理＞
まず、図２（ｂ）に示すように、標準偏差算出部１３は、入力画像において基準画素数（７×７画素）からなるマスクを設定する。そして、標準偏差算出部１３は、図２（ｃ）に示すように入力画像上で上記マスクを１画素ごとにシフトさせると共に、各シフト位置で上記マスクに含まれる各画素の画像データの標準偏差を算出する（Ｓ１１）。そして、上記マスクが入力画像の全画素を通過するまで、上記シフトおよび上記標準偏差の算出を繰り返す。
【００６８】
ここで、上記マスクに含まれる各画素の画像データの標準偏差を算出するための演算を数１に示すと共に、上記マスクを示した模式図を図２（ａ）に示す。なお、以下では説明の便宜のためにＲの画像データのみについて説明するが、Ｇ，Ｂの画像データについても同様の処理が行われる。
【００６９】
【数１】
2004266481.tif 000003
【００７０】
なお、数１のＲｓｄｘ，ｙを算出する式において、分母がｎになっているが（ｎ−１）であっても構わない。
【００７１】
また、上記マスクに含まれる各画素の画像データの標準偏差を算出するにあたり、乳剤傷画素の画像データを除外して演算するのが好ましい。乳剤傷画素の画像データは異常状態におけるデータであり、このような画素を除外して、上記標準偏差を求めることにより、入力画像の乳剤傷がない状態の標準偏差をより正確に算出するためである。ここで、あるシフト位置においてマスク内に乳剤傷画素が半数以上占める場合（乳剤傷画素が２４画素以上占める場合）、そのシフト位置におけるマスクに含まれる各画素の画像データの標準偏差は無効として、以下の処理で用いない。データの個数が少ない場合、得られる標準偏差の信頼性は低いからである。
【００７２】
さらに、上記マスクのシフトは少なくとも１画素ごと以上であればよく、何画素ごとでも構わない。例えば、図２（ｄ）に示すように、各シフト位置で画素の重複が生じないように、７画素ごとに上記マスクをシフトさせても構わない。このようにすることにより、上記マスクのシフト回数を減少させることができるため、処理速度を向上させることが可能になる。また、上記マスクの基準画素数は７×７画素に限定されるものでなく変更可能である。例えば、８×８画素とすると、７×７画素の場合と比べて、上記マスクのシフト回数を減少させることができ、処理速度を向上させることが可能になる。
【００７３】
さらに、標準偏差算出部１３は、各シフト位置における各マスクの各標準偏差の平均値を算出する（Ｓ１２）。なお、上記平均値を算出するための演算式を数２に示す。ここで、数１において乳剤傷画素の画像データを除外して標準偏差を演算した場合、無効とされた標準偏差は上記平均値の演算に用いない。
【００７４】
【数２】
2004266481.tif 000004
【００７５】
そして、標準偏差算出部１３は、上記平均値を入力画像の粒状度として決定する（Ｓ１３）。さらに、標準偏差算出部１３は、決定した粒状度を示す粒状度データを粒状付加部１４へ出力する。
【００７６】
このように、各シフト位置における各マスクから得られた各標準偏差の平均値を入力画像の粒状度とする理由を以下説明する。本来、入力画像の各画素の画像データから得られる標準偏差は、入力画像の濃淡の散らばりに大きく影響を受ける。よって、入力画像の被写体に物体の輪郭（濃度のエッジ）が多数存在する場合、入力画像の各画素の画像データから得られる標準偏差と入力画像の粒状度とが一致しないこともあり得る。
【００７７】
一方、ある画素に存在する粒状度は、上記画素を含んだ周辺領域に位置する各画素の画像データの散らばり具合（標準偏差）に起因するものである。したがって、入力画像の各画素における画像データの標準偏差よりも、入力画像の数画素単位における画像データの標準偏差の平均値のほうが、上記濃度のエッジの影響を受けにくく、入力画像の粒状度に近いと考えられる。また、経験的にも上記平均値を入力画像の粒状度とするほうが好ましい。そこで、標準偏差算出部１３では、上述したように、各シフト位置におけるマスクから得られた各標準偏差の平均値を入力画像の粒状度と決定している。
【００７８】
ただし、被写体に物体の輪郭が比較的少ない入力画像にあっては、入力画像の各画素から得られる標準偏差を入力画像の粒状度として考えることができる。したがって、Ｓ１３を、入力画像の各画素の標準偏差を入力画像の粒状度として決定する手順にしてもよい。
【００７９】
そして、上記粒状度データを受け取った粒状付加部１４は、各乳剤傷画素に関して、数３に基づいて粒状付加処理を実行する。
【００８０】
【数３】
2004266481.tif 000005
【００８１】
以上のように、標準偏差算出部１３が、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定している。ここで、上記標準偏差は画像データの散らばり具合の尺度と考えることができる。また、画素における粒状度は、上記画素を含んだ周辺領域に属する各画素の画像データの散らばり具合に起因するものといわれているため、上記標準偏差を入力画像の粒状度と考えることができるのである。
【００８２】
そして、粒状付加部１４が、乳剤傷画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算している。つまり、乳剤傷画素ごとに、入力画像における画像データの散らばり具合の尺度に乱数を乗じていることから、入力画像の粒状に疑似する散らばりを各乳剤傷画素に持たせることができる。これにより、上記乳剤傷画素に対して補間処理を施した場合であっても、乳剤傷画素に対応する箇所をできるだけ目立たなくすることが可能になる。
【００８３】
また、本実施の形態では、＋０．５〜−０．５の範囲で上記乱数を発生させている。この理由を以下説明する。ある画像データ群に対して、標準偏差σの範囲で散らばっている正のデータを付加しても、各画像データの平均値が高くなってしまい、本来の画像全体の濃度が失われる。したがって、ある画像データ群に対して、各画像データの平均を変えることなく粒状を付加するためには、０を中央値とした標準偏差σの範囲（つまり、−σ〜＋σ）で散らばっているデータを画像データ群に対して付加する必要がある。
【００８４】
一方、画像データ群から得られる標準偏差は、画像の粒状度のみならず、画像における濃淡のエッジの多少の影響も受けている。したがって、ある画像データ群に対して、±σの範囲で散らばっているデータを付加しても、入力画像本来の粒状度よりも強い粒状度が付加されることになる。よって、入力画像本来の粒状度を付加するためには、付加するデータの散らばりを調整する必要がある。ここで、経験的に好ましい付加するデータの散らばりの幅は、±０．５σであるため、−０．５〜＋０．５の範囲で上記乱数を発生させている。但し、乱数の範囲は、あくまでも−０．５〜＋０．５の範囲に限定されるものでなく、写真処理システムの性能に応じて適宜変更可能である。
【００８５】
また、本実施の形態では、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定しているが、上記標準偏差の代わりに画像データの分散（標準偏差の２乗）に基づいて入力画像の粒状度を決定する手順であっても構わない。ここで、分散は標準偏差の２乗であるため、標準偏差よりも分散を用いたほうが付加できる粒状度合いの範囲を広く確保することが可能になる。また、分散を用いることにより、付加される粒状度合いが強すぎることとなる場合は、粒状付加処理の乱数発生範囲を小さくすることにより、粒状度合いの調整が可能になる。
【００８６】
さらに、上記分散に基づいて入力画像の粒状度を決定する場合、Ｓ１１は、上記マスクの各シフト位置において上記マスクに含まれる各画素の画像データの分散を算出する手順となる。そして、Ｓ１２は、各シフト位置における各マスクの各分散の平均値が算出する手順になる。さらに、Ｓ１３は、上記各分散の平均値を入力画像の粒状度として決定する手順となる。なお、Ｓ１３を、入力画像の各画素の分散を入力画像の粒状度として決定する手順にしてもよい。
【００８７】
また、本実施の形態では、乳剤傷画素のみを対象として上記粒状付加処理を行っているが、これに限られるものではない。上記粒状付加処理は、補間処理を施した全欠陥画素に対して有効である。例えば、欠陥画素検出部１１が上記ＣＦ値より所定量低い赤外画像データの画素を欠陥画素（傷、ほこり、汚れにより影響を受けている画素）と判別し、補間部１２が上記欠陥画素に補間処理を施すと共に、粒状付加部１４が上記欠陥画素に粒状付加処理を施しても構わない。
【００８８】
さらに、本実施の形態では、写真処理システムにおいて、写真フィルムから取り込んだ画像データに対して上記粒状付加処理を施している。しかし、複写機において、画像を記録できる画像記録材（用紙、ＯＨＰ用シート等）から取り込んだ画像データに対しても上記粒状付加処理を施しても構わない。
【００８９】
ところで、以上の実施の形態で説明した処理は、プログラムで実現することが可能である。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、画像処理装置２で処理が行われるために必要な図示していないメモリー（例えばＲＯＭそのもの）であってもよいし、また図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても構わない。
【００９０】
上記いずれの場合においても、格納されているプログラムはマイクロプロセッサ（図示せず）のアクセスにより実行される構成であってもよいし、格納されているプログラムを読み出し、読み出したプログラムを図示されていないプログラム記憶エリアにダウンロードすることにより、そのプログラムが実行される構成であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００９１】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリーカードを含む）／光カードのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリーを含めた固定的にプログラムを担持する媒体であってもよい。
【００９２】
最後に、上述した実施の形態は、本発明の範囲を限定するものではなく、本発明の範囲内で種々の変更が可能である。
【００９３】
【発明の効果】
請求項１に記載の画像処理方法は、以上のように、画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理方法であって、上記欠陥による影響を受けている欠陥画素を検出するステップと、上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成するステップと、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定するステップと、欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算するステップとを備えることを特徴とする。
【００９４】
また、請求項８に記載の画像処理装置は、以上のように、画像記録材から取り込んだ入力画像の画像データについて、上記画像記録材に付いた傷、ほこり、汚れ等の欠陥による影響を上記画像データから除去する画像処理装置であって、上記欠陥による影響を受けている欠陥画素を検出する欠陥画素検出部と、上記欠陥画素を対象として補間処理を施すことにより、上記欠陥画素の修復画像データを作成する補間部と、画像データの標準偏差を算出し、上記標準偏差に基づいて入力画像の粒状度を決定する標準偏差算出部と、欠陥画素ごとに、上記粒状度に乱数を乗じた値を上記修復画像データに加算する粒状付加部とを備えることを特徴とする。
【００９５】
これにより、上記欠陥画素に対して補間処理を施した場合であっても、欠陥画素に対応する箇所をできるだけ目立たなくすることが可能になるという効果を奏する。
【００９６】
請求項２に記載の画像処理方法は、以上のように、入力画像上で基準画素数からなるマスクを所定画素数ごとにシフトすると共に、各シフト位置で上記マスクに含まれる各画素の画像データの標準偏差を算出するステップと、各シフト位置における各マスクの上記標準偏差の平均値を算出するステップとを備え、上記平均値を上記入力画像の粒状度として決定することを特徴とする。
【００９７】
これにより、単に入力画像における各画素の画像データの標準偏差を上記粒状度とするよりも、より入力画像の粒状度に近い値を求めることができるという効果を奏する。
【００９８】
請求項３に記載の画像処理方法は、上記手順に加えて、各シフト位置で画素の重複が生じないように上記マスクをシフトすることを特徴とする。
【００９９】
これにより、マスクのシフト回数を減少させることができ、処理速度を向上させることが可能になるという効果を奏する。
【０１００】
請求項４に記載の画像処理方法は、上記手順に加えて、欠陥画素の画像データを除外して上記標準偏差を算出することを特徴とする。
【０１０１】
これにより、入力画像の画像データの標準偏差をより正確に算出することができるという効果を奏する。
【０１０２】
請求項５に記載の画像処理方法は、上記手順に加えて、−０．５から＋０．５の範囲で上記乱数を発生することを特徴とする。
【０１０３】
これにより、入力画像本来の粒状度を付加できるという効果を奏する。
【０１０４】
請求項６に記載の画像処理方法は、上記手順に加えて、上記画像記録材が写真フィルムであることを特徴とする。請求項７に記載の画像処理方法は、上記手順に加えて、上記欠陥が、上記写真フィルムの乳剤面に付いた傷であることを特徴とする。
【０１０５】
請求項９に記載の画像処理プログラムは、上記課題を解決するために、請求項１ないし７のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする。また、請求項１０に記載の画像処理プログラムを記録した記録媒体は、上記課題を解決するために、請求項９に記載の画像処理プログラムをコンピュータにて読み取り可能に記録してなることを特徴とする。これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに画像処理プログラムをインストールすることによって、該コンピュータを用いて上記の画像処理方法を実現する、言い換えれば、該コンピュータを画像処理装置として機能させることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る写真処理システムの構成の概略を示したブロック図である。
【図２】（ａ）は入力画像上に設定するマスクを示した模式図であり、（ｂ）は入力画像と上記マスクとの関係を示した説明図であり、（ｃ）は上記マスクを１画素ずつシフトさせる様子を示した説明図であり、（ｄ）は上記マスクを７画素ずつシフトさせる様子を示した説明図である。
【図３】上記写真処理システムの構成要素である画像処理装置で実行される処理の流れを示したフローチャートである。
【図４】上記画像処理装置の構成要素である標準偏差算出部で実行される処理の流れを示したフローチャートである。
【図５】乳剤傷の付いた写真フィルムから取り込んだサンプル画像である。
【図６】図５のサンプル画像に対して補間処理を施して得られたサンプル画像である。
【図７】図６のサンプル画像に対して粒状付加処理を施して得られたサンプル画像である。
【図８】写真フィルムを示した断面図である。
【符号の説明】
１  フィルムスキャナ
２  画像処理装置
３  写真焼付装置
１１  欠陥画素検出部
１２  補間部
１３  標準偏差算出部
１４  粒状付加部
【図１】
2004266481.tif 000006
【図２】
2004266481.tif 000007
【図３】
2004266481.tif 000008
【図４】
2004266481.tif 000009
【図５】
2004266481.tif 000010
【図６】
2004266481.tif 000011
【図７】
2004266481.tif 000012
【図８】
2004266481.tif 000013