(57)【特許請求の範囲】
【請求項１】
ＲＧＢの色信号により構成されるデジタル画像信号に対して画像処理を施す方法において、
同一の撮像装置により撮影された複数の被写体のデジタル画像信号から、色差または彩度が所定の閾値以下の画素に対して重み付けが大きくなるような重み係数に基づく前記各デジタル画像信号のＲＧＢの各色信号の重み付け平均値を算出し、さらに該重み付け平均値の全平均値を特徴量として算出し、
前記全平均値に基づいて、処理対象のデジタル画像信号におけるグレーの被写体を示すＲＧＢの色信号を等しい値となるように変換する画像処理を前記処理対象のデジタル画像信号に施すことを特徴とする画像処理方法。
【請求項２】
前記各デジタル画像信号のＲＧＢの各色信号の重み付け平均値をＲｉ，Ｇｉ，Ｂｉ、前記全平均値Rave，Bave，Gaveとしたとき、前記画像処理は下記の式に基づく画像処理であることを特徴とする請求項１記載の画像処理方法。
Ｒ′＝Ｒ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｒｉ）
Ｇ′＝Ｇ
Ｂ′＝Ｂ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｂｉ）
但し、Ｒ，Ｇ，Ｂは処理前の色信号、Ｒ′，Ｇ′，Ｂ′は処理後の色信号、ｋ１，ｋ２：重み係数（ｋ１＋ｋ２＝１）
【請求項３】
ＲＧＢの色信号により構成されるデジタル画像信号に対して画像処理を施す方法において、
同一の撮像装置により撮影された複数の被写体のデジタル画像信号から、前記各デジタル画像信号のＲＧＢの各色信号の平均値Ｒｉ，Ｇｉ，Ｂｉの全平均値Rave，Bave，Gaveを特徴量として算出し、
下記の式に基づく画像処理を処理対象のデジタル画像信号に施すことを特徴とする画像処理方法。
Ｒ′＝Ｒ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｒｉ）
Ｇ′＝Ｇ
Ｂ′＝Ｂ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｂｉ）
但し、Ｒ，Ｇ，Ｂは処理前の色信号、Ｒ′，Ｇ′，Ｂ′は処理後の色信号、ｋ１，ｋ２：重み係数（ｋ１＋ｋ２＝１）
【請求項４】
前記処理対象のデジタル画像信号から、彩度が所定の閾値以上となる高彩度画素の平均値を算出し、
該高彩度画素の平均値が目標値となるように高彩度画素の彩度を変換する画像処理をさらに前記処理対象のデジタル画像信号に施すことを特徴とする請求項１または２記載の画像処理方法。
【請求項５】
前記特徴量が、前記各デジタル画像信号のサムネイル画像信号に基づいて算出されることを特徴とする請求項１から４のいずれか１項記載の画像処理方法。
【請求項６】
前記各デジタル画像信号がＪＰＥＧ画像ファイル形式からなり、前記特徴量が該ＪＰＥＧ画像ファイルの直流成分の信号に基づいて算出されることを特徴とする請求項１から５のいずれか１項記載の画像処理方法。
【請求項７】
前記撮像装置が、撮像した被写体の情報をデジタル画像信号に変換し、該デジタル画像信号を記録媒体に記録する記録手段を有することを特徴とする請求項１から６のいずれか１項記載の画像処理方法。
【請求項８】
前記デジタル画像信号が撮像後修正されたことを示すフラグとともに前記記録媒体に記録され、
前記各デジタル画像信号のうち、前記フラグを有するデジタル画像信号に対してのみ前記特徴量の算出および前記画像処理を行うことを特徴とする請求項７記載の画像処理方法。
【請求項９】
ＲＧＢの色信号により構成されるデジタル画像信号に対して画像処理を施す装置において、
同一の撮像装置により撮影された複数の被写体のデジタル画像信号から、色差または彩度が所定の閾値以下の画素に対して重み付けが大きくなるような重み係数に基づく前記各デジタル画像信号のＲＧＢの各色信号の重み付け平均値を算出し、さらに該重み付け平均値の全平均値を特徴量として算出する特徴量抽出手段と、
前記全平均値に基づいて、処理対象のデジタル画像信号におけるグレーの被写体を示すＲＧＢの色信号を等しい値となるように変換する画像処理を前記処理対象のデジタル画像信号に施す画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項１０】
ＲＧＢの色信号により構成されるデジタル画像信号に対して画像処理を施す装置において、
同一の撮像装置により撮影された複数の被写体のデジタル画像信号から、前記各デジタル画像信号のＲＧＢの各色信号の平均値Ｒｉ，Ｇｉ，Ｂｉの全平均値Rave，Bave，Gaveを特徴量として算出する特徴量抽出手段と、
下記の式に基づく画像処理を処理対象のデジタル画像信号に施す画像処理手段とを備えたことを特徴とする画像処理装置。
Ｒ′＝Ｒ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｒｉ）
Ｇ′＝Ｇ
Ｂ′＝Ｂ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｂｉ）
但し、Ｒ，Ｇ，Ｂは処理前の色信号、Ｒ′，Ｇ′，Ｂ′は処理後の色信号、ｋ１，ｋ２：重み係数（ｋ１＋ｋ２＝１）
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラなどのデジタル画像信号を記録する撮像装置により得られたデジタル画像信号に対して画像処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
近年、各分野でデジタル化が進み、システム構成の大幅な変更が行われている。これに関して写真業界も例外ではなく、ＣＣＤにより被写体像を光電的に画像信号に変換し、ＡＤ変換を行うことにより画像信号をデジタル化して記録するデジタルスチルカメラ（以下デジタルカメラとする）が普及しつつある。
【０００３】
【発明が解決しようとする課題】
このようなデジタルカメラの普及に伴い、デジタルカメラにより取得されたデジタル画像信号からカラープリントを提供するサービス（以下デジタルプリントサービスとする）が行われつつある。しかしながら、このようなサービスにおいて得られるプリントの画像品質は、従来より行われているカラーネガフイルムからプリントを作成するカラープリントサービス（以下コンベンショナルサービスとする）により提供されるプリントの画像品質に及ばないのが現状である。この要因として、
１）撮像装置であるデジタルカメラそのものが有する画質
２）デジタルカメラ機種間による性能のばらつき
３）同一機種のデジタルカメラ間における個体差による性能のばらつき
４）同一個体のデジタルカメラにおける性能のばらつき
が挙げられる。
【０００４】
１）におけるデジタルカメラそのものが有する画質については、ＣＣＤの性能向上などにより急速に改良されつつあるが、２）〜４）の性能のばらつきに関しては、何ら対策がとられていない。
【０００５】
一方、コンベンショナルサービスにおいてもデジタルプリントサービスと同様の問題が生じている。上記デジタルプリントサービスにおける４つの要因をコンベンショナルサービスに置き換えると以下のようになる。
【０００６】
１′）撮像装置である銀塩カメラおよびカラーネガフイルムそのものが有する画質
２′）カラーネガフイルム品種間による性能のばらつき
３′）同一種のカラーネガフイルム間における各種要因（現像処理、温湿度など）による性能のばらつき
４′）同一のカラーネガフイルムにおける各種要因による性能のばらつき
コンベンショナルサービスの場合、画質を制御するパラメータとしては、カラーバランスとプリント濃度のみであり、とくにカラーバランスは最も重要なパラメータとなっている。したがって、プリント品質を向上させるために、種々の方法によりカラーバランスを安定させる方法が提案されている。
【０００７】
例えば、上記２′）の要因によるプリント品質のばらつきを解消するために、カラーネガフイルムの特性情報をネガ種毎に予めメモリなどに記憶させておき、その情報に基づいてプリント作成条件を決定する方法が提案されている（いわゆるマルチチャンネル手法）。しかしながら、カラーネガフイルムの場合、現像処理によるばらつき、温湿度による性能の変化など上記３′）、４′）の要因が非常に大きく、とくに高温に晒されるなどして一旦性能が変化してしまうと、その性能は元には戻らないものである。したがって、マルチチャンネル手法によってもプリント品質を向上させるには限界がある。このため、複数コマを有するカラーネガフイルムから各コマの画像を読取り、各コマの画素毎の原色情報に基づいてプリント露光量を決定する手法において、第１の原色と第２の原色間の濃度差、第１および第２の原色のいずれかと第３の原色との濃度差、および３原色の平均濃度を求め、平均濃度に対する濃度差の関係を表す特性曲線を作成し、この特性曲線からカラーネガフイルムに固有の値を求めて露光量を制御する方法が提案されている（特開昭５５−４６７４１号）。このように、カラーネガフイルムの場合には、上述した３′）および４′）の要因が大きく、同じフイルム種であってもネガフイルムの特性を推定するには複数コマの情報を用いる必要がある。
【０００８】
一方、デジタルカメラの場合、毎年数十台もの新機種が発売されているため、マルチチャンネル手法のように機種毎の特性情報を用いてプリント作成条件を決定することは実質的に不可能である。したがって、上記２）のデジタルカメラの機種間による性能のばらつきについては何らかの方法により推定を行う必要がある。
【０００９】
また、デジタルカメラに用いられるＣＣＤは非常に耐久性に優れ、温湿度条件が変化しても性能変動はほとんどないものである。例えば、高温条件下においては暗電流によるノイズは増加するが、信号強度にはほとんど変化がなく、ネガフイルムと異なり、元の温度に戻せば暗電流も元のレベルに戻るものである。このように、ＣＣＤは性能変動が少ないため、デジタルカメラの特性を知るためには１つの画像信号のみを用いれば充分であると考えられており、複数の画像信号からデジタルカメラの特性を推定しても、プリント品質の向上はほとんどないと考えられていた。
【００１０】
しかしながら、デジタルプリントサービスにおいて、上記２）のばらつきを完全に抑制することができたとしても、上記３）および４）のばらつきが無視できないこととなる。すなわち、カメラの機種が同一であっても、またカメラの機種によるばらつきを抑制できたとしても、ＣＣＤの感度の僅かな違いやレンズの性能差などのカメラの個体差により色の違いが生じるおそれがある。さらに、オートホワイトバランス機能を備えたデジタルカメラにおいても、このようなカメラの個体差に基づくばらつきの影響により画像信号に個体差を生じ、その結果プリント品質が低下するおそれがある。
【００１１】
本発明は上記事情に鑑みなされたものであり、デジタルカメラなどの撮像装置により取得されたデジタル画像信号に対して画像処理を施して、高画質の再生画像を得ることができる画像処理方法および装置を提供することを目的とするものである。
【００１２】
【課題を解決するための手段】
本発明による画像処理方法は、デジタル画像信号に対して画像処理を施す方法において、
同一の撮像装置により撮影された複数の被写体のデジタル画像信号から、該撮像装置の特性を表す特徴量を抽出し、
該特徴量に応じた画像処理を前記デジタル画像信号に施すことを特徴とするものである。
【００１３】
ここで、「複数のデジタル画像信号」とは少なくとも２つ、好ましくは５つ以上のデジタル画像信号のことをいう。
【００１４】
また、「撮像装置の特性」とは、撮像装置の機種の違い、あるいは個体差によるデジタル画像信号の特性のことをいい、具体的には、色、明るさ、階調、鮮鋭度などのことをいう。
【００１５】
なお、本発明による画像処理方法においては、前記デジタル画像信号がＲＧＢの色信号により構成される場合、
前記特徴量が、前記各デジタル画像信号の平均値の全平均値であり、
前記画像処理が、前記全平均値に基づいて、グレーの被写体を示すデジタル画像信号におけるＲＧＢの色信号を等しい値となるように変換する画像処理であることが好ましい。
【００１６】
ここで、「全平均値」とは、各デジタル画像信号の平均値の平均値のことである。
【００１７】
また、この場合、前記全平均値が、前記各デジタル画像信号の各画素における色により決定される重み係数に基づく重み付け平均値の平均値であることが好ましく、さらに前記平均値または前記重み付け平均値に対して所定の重み係数により重み付けをして前記画像処理を行うことが好ましい。
【００１８】
また、前記特徴量が、前記各デジタル画像信号のヒストグラムまたは累積ヒストグラムに基づいて抽出されるようにしてもよく、とくにデジタル画像信号が色信号により構成される場合、高彩度画素を除去した前記デジタル画像信号からヒストグラムまたは累積ヒストグラムを求めるようにしてもよい。この場合、前記画像処理が、前記特徴量に基づいて前記デジタル画像信号により表される画像のコントラストを変換する画像処理であることが好ましい。
【００１９】
さらに、前記デジタル画像信号がＲＧＢの色信号により構成されている場合に、前記特徴量を前記各デジタル画像信号の色彩度または色飽和度に関する値とし、
前記画像処理を、前記特徴量に基づいて前記デジタル画像信号の色彩度を変換する画像処理とすることが好ましい。
【００２０】
さらに、前記デジタル画像信号がＲＧＢの色信号により構成されている場合に、前記特徴量を、前記各デジタル画像信号の各画素における前記各色信号の平均値に対する前記各画素における該各色信号の値とし、
前記画像処理を、前記各色信号の平均値と前記特徴量との関係を表したテーブルを参照して前記デジタル画像信号を変換する処理とすることが好ましい。
【００２１】
さらにまた、前記デジタル画像信号がＲＧＢの色信号により構成されている場合に、前記特徴量を、前記各デジタル画像信号の各画素における前記ＲＧＢ色信号のうち一の色信号に対する前記各画素における他の色信号または前記各色信号の値とし、
前記画像処理を、前記一の色信号の値と前記特徴量との関係を表したテーブルを参照して前記デジタル画像信号を変換する処理とすることが好ましい。
【００２２】
また、上記テーブルを参照して画像処理を行う場合、前記特徴量を高彩度画素を除去した前記デジタル画像信号から求めることが好ましい。
【００２３】
さらに、本発明による画像処理方法においては、前記特徴量を、前記各デジタル画像信号のサムネイル画像信号に基づいて抽出することが好ましく、また、前記各デジタル画像信号がＪＰＥＧ画像ファイル形式からなる場合には、前記特徴量を該ＪＰＥＧ画像ファイルの直流成分の信号に基づいて抽出することが好ましい。
【００２４】
また、前記撮像装置を、撮像した被写体の情報をデジタル画像信号に変換し、該デジタル画像信号を記録媒体に記録する記録手段を有するものとすることが好ましく、この場合、前記デジタル画像信号を撮像後修正されたか否かを示すフラグとともに前記記録媒体に記録し、前記各デジタル画像信号のうち、前記フラグを有するデジタル画像信号に対してのみ前記特徴量の抽出および前記画像処理を行うことが好ましい。
【００２５】
本発明による画像処理装置は、デジタル画像信号に対して画像処理を施す装置において、
同一の撮像装置により撮影された複数の被写体のデジタル画像信号から、該撮像装置の特性を表す特徴量を抽出する特徴量抽出手段と、
該特徴量に応じた画像処理を前記デジタル画像信号に施す画像処理手段とを備えたことを特徴とするものである。
【００２６】
なお、本発明による画像処理装置においては、前記デジタル画像信号がＲＧＢの色信号により構成されている場合、前記特徴量抽出手段が、前記特徴量を前記各デジタル画像信号の平均値の全平均値として抽出する手段であり、
前記画像処理手段が、前記全平均値に基づいて、グレーの被写体を示すデジタル画像信号におけるＲＧＢの色信号を等しい値となるように変換する画像処理を行う手段であることが好ましい。
【００２７】
また、前記特徴量抽出手段は、前記全平均値を前記各デジタル画像信号の各画素における色により決定される重み係数に基づく重み付け平均値の平均値として抽出する手段であることが好ましく、この場合、前記平均値または前記重み付け平均値に対して所定の重み係数により重み付けをして前記画像処理を行うことが好ましい。
【００２８】
さらに、本発明による画像処理装置においては、前記特徴量抽出手段が、前記特徴量を前記各デジタル画像信号のヒストグラムまたは累積ヒストグラムに基づいて抽出する手段としてもよく、とくに、デジタル画像信号が色信号により構成されている場合、前記ヒストグラムまたは累積ヒストグラムを、高彩度画素を除去した前記デジタル画像信号から求める手段であることが好ましい。この場合、前記画像処理手段は、前記特徴量に基づいて前記デジタル画像信号により表される画像のコントラストを変換する手段であることが好ましい。
【００２９】
さらにまた、前記デジタル画像信号がＲＧＢの色信号により構成されている場合、
前記特徴量抽出手段が、前記特徴量を前記各デジタル画像信号の色彩度または色飽和度に関する値として求める手段であり、
前記画像処理手段が、前記特徴量に基づいて前記デジタル画像信号の色彩度を変換する手段であることが好ましい。
【００３０】
また、前記デジタル画像信号がＲＧＢの色信号により構成されている場合、
前記特徴量抽出手段が、前記特徴量を前記各デジタル画像信号の各画素における前記各色信号の平均値に対する前記各画素における該各色信号の値として求める手段であり、
前記画像処理手段が、前記各色信号の平均値と前記特徴量との関係を表したテーブルを参照して前記デジタル画像信号を変換する処理を行う手段であることが好ましい。
【００３１】
さらに、前記デジタル画像信号がＲＧＢの色信号により構成されている場合、
前記特徴量抽出手段が、前記特徴量を前記各デジタル画像信号の各画素における前記ＲＧＢ色信号のうち一の色信号に対する前記各画素における他の色信号または前記各色信号の値として求める手段であり、
前記画像処理手段が、前記一の色信号の値と前記特徴量との関係を表したテーブルを参照して前記デジタル画像信号を変換する処理を行う手段であることが好ましい。
【００３２】
なお、この場合、前記特徴量抽出手段は、前記特徴量を高彩度画素を除去した前記デジタル画像信号から求める手段であることが好ましい。
【００３３】
また、本発明による画像処理装置においては、前記特徴量抽出手段が、前記特徴量を前記各デジタル画像信号のサムネイル画像信号に基づいて抽出する手段であることが好ましく、前記各デジタル画像信号がＪＰＥＧ画像ファイル形式からなる場合には、前記特徴量抽出手段が、前記特徴量を該ＪＰＥＧ画像ファイルの直流成分の信号に基づいて抽出する手段であることが好ましい。
【００３４】
さらに、前記撮像装置が、撮像した被写体の情報をデジタル画像信号に変換し、該デジタル画像信号を記録媒体に記録する記録手段を有することが好ましく、この場合、前記記録手段が前記デジタル画像信号が撮像後修正されたか否かを示すフラグとともに前記デジタル画像信号を前記記録媒体に記録する手段であり、
前記特徴量抽出手段および前記画像処理手段が、前記各デジタル画像信号のうち、前記フラグを有するデジタル画像信号に対してのみ前記特徴量の抽出および前記画像処理を行う手段であることが好ましい。
【００３５】
【発明の効果】
本発明の画像処理方法および装置によれば、同一の装置により撮像された複数の被写体のデジタル画像信号から撮像装置の特性を表す特徴量を抽出するようにしたため、その特徴量は被写体の如何に関わらず、その撮像装置の特性を最もよく表すものとなる。すなわち、あるデジタル画像信号が高彩度の被写体を撮像したり、逆光の被写体を撮像することにより得られた場合であっても、特徴量は複数のデジタル画像信号から求められることから、被写体に依存する各デジタル画像信号毎の特徴量の誤差が補償され、その結果、特徴量は撮像装置固有の特性を最もよく表すこととなる。また、カメラの機種のみならず、同一の機種による個体差も補償されることとなる。したがって、この特徴量に基づいて、特徴量に応じた画像処理をデジタル画像信号に対して施すことにより、デジタル画像信号は特徴量に応じて最適な画像処理が施されることとなり、画像処理が施されたデジタル画像信号を再生することにより、最適な画像処理が施された高画質の再生画像を得ることができる。
【００３６】
また、デジタル画像信号がＲＧＢの色信号により構成される場合に、特徴量を各デジタル画像信号の平均値の平均値（全平均値）として求め、この全平均値に基づいてグレーの被写体を表すデジタル画像信号におけるＲＧＢ色信号を等しい値となるように変換することにより、グレーの画像信号を適切なグレーに再現できるように画像処理を施すことができ、これにより色が適切に修正された高画質の再生画像を得ることができる。
【００３７】
この場合、全平均値を各デジタル画像信号の各画素における色により決定される重み係数に基づく重み付け平均値の平均値として求めることにより、例えば高彩度の画素に対しては重み付け係数を小さくして彩度に影響されない特徴量を求めることができる。
【００３８】
また、平均値あるいは重み付け平均値を所定の重み付け係数により重み付けして画像処理を行うことにより、デジタル画像信号により表される被写体の色温度をも補正することができる。
【００３９】
さらに、デジタル画像信号がＲＧＢの色信号により構成される場合に、特徴量を各デジタル画像信号の各画素における各色信号に平均値に対する各画素における色信号の値とし、各色信号と特徴量との関係を表すテーブルを作成し、このテーブルを参照してデジタル画像信号を変換することにより、演算時間を短縮してデジタル画像信号に対して効率よく画像処理を施すことができる。この場合、特徴量を各デジタル画像信号の各画素におけるＲＧＢ色信号のうちの一の色信号に対する各画素における他の色信号または各色信号の値とし、一の色信号の値と特徴量との関係を表したテーブルを参照してデジタル画像信号に対して画像処理を施しても、同様に演算時間を短縮することができる。
【００４０】
また、テーブルを作成する際に、高彩度画素を除去したデジタル画像信号から特徴量を求めることにより、彩度に影響されない適切な特徴量を求めることができる。
【００４１】
さらに、各デジタル画像信号についてのサムネイル画像信号が作成されている場合、サムネイル画像信号は各デジタル画像信号のデータ量が大幅に低減されているため、このサムネイル画像信号に基づいて特徴量を抽出することにより、特徴量を求めるための演算時間を大幅に短縮することができる。
【００４２】
また、デジタル画像信号がＪＰＥＧ画像ファイル形式からなる場合には、ＪＰＥＧ画像ファイルの直流成分に基づいて特徴量を抽出することにより、特徴量を求めるための演算時間を短縮することができる。
【００４３】
さらに、デジタル画像信号を記録媒体に記録する撮像装置において、デジタル画像信号を記録媒体に記録する際に、撮像装置によりデジタル画像信号に対して画像処理が施されたか否かを示すフラグを記録することにより、フラグを有するデジタル画像信号に対してのみ特徴量の抽出および画像処理を行うことができ、画像処理が施されたデジタル画像信号に対してさらに画像処理を施すことがなくなり、これにより、デジタル画像信号に対して効率よく画像処理を施すことができる。
【００４４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置を内包する画像再生システムの構成を示すブロック図である。図１に示すように、本発明の実施形態による画像処理装置を内包する画像再生システムは、被写体を撮像することにより取得されるデジタル画像信号Ｓをメモリカードなどの記録媒体１Ａに記録するデジタルカメラなどの撮像装置１と、記録媒体１Ａに記録されたデジタル画像信号Ｓに対して画像処理を施して処理済み画像信号Ｓ′を得る画像処理装置２と、処理済み画像信号Ｓ′をプリントあるいはＣＲＴなどに可視像として再生するための再生装置３とからなる。なお、デジタル画像信号Ｓはカラー画像信号であり、ＲＧＢの３色の色信号Ｒ，Ｇ，Ｂから構成されるものである。
【００４５】
画像処理装置２は、記録媒体１Ａに記録された複数のデジタル画像信号Ｓに基づいて、撮像装置１の特性を表す特徴量Ｔを抽出する特徴量抽出手段４と、特徴量Ｔに基づいて、デジタル画像信号Ｓに対して画像処理を施す画像処理手段５とからなる。なお、本実施形態においては特徴量Ｔに基づいて、デジタル画像信号Ｓのグレーバランスを適切なものとする色補正を画像処理として行うものである。また、デジタル画像信号Ｓは記録媒体１Ａにより画像処理装置２に入力されるが、通常、１つの記録媒体１Ａには同一の撮像装置１により取得されたデジタル画像信号Ｓのみしか記録されることはないため、画像処理装置２においては、同一の撮像装置１により撮像されたデジタル画像信号Ｓを識別することは容易である。
【００４６】
本実施形態においては、デジタル画像信号Ｓのグレーバランスを補正する画像処理を行うことから、特徴量抽出手段４においては、特徴量Ｔとして各デジタル画像信号Ｓを構成する色信号Ｒ，Ｇ，Ｂの平均値が求められる。平均値の求め方としては、まず、各デジタル画像信号Ｓについて、色信号Ｒ，Ｇ，Ｂの平均値Ｒｉ，Ｇｉ，Ｂｉが求められ、さらに平均値Ｒｉ，Ｇｉ，Ｂｉの平均値Rave，Bave，Gaveが求められる。ここで、デジタル画像信号ＳがＮ個ある場合、平均値Rave，Bave，Gaveは下記の式（１）により求められる。
【００４７】
Rave＝ΣＲｉ／Ｎ
Gave＝ΣＧｉ／Ｎ                                    （１）
Bave＝ΣＢｉ／Ｎ
但し、ｉ＝１〜Ｎ
なお、単純に平均処理を行うのでなく、特徴量Ｔの精度を向上させるために、選択的に抽出した画素についての平均を特徴量とすることが好ましい。例えば、各デジタル画像信号Ｓにおいて、ΔＧＲ＝Ｇ−Ｒ、ΔＧＢ＝Ｇ−Ｂなどのように色差信号を生成し、この色差信号ΔＧＲ，ΔＧＢの絶対値が所定の閾値以下である画素を抽出することにより、低彩度の画素のみを抽出して特徴量Ｔに反映させることができる。また、色差でなく、色信号Ｒ，Ｂ，Ｇに対してマトリクス処理を施し、輝度、色相、彩度の信号に変換して、彩度信号に対して閾値処理を施し、彩度が所定の閾値以下の画素のみを抽出して特徴量Ｔに反映させることもできる。さらに、彩度または色差に応じて、平均値に対する重みを変化させるような重み付け平均値を求めることもできる。このような方法により選択的に抽出した画素に基づいて平均値を求めることにより、デジタル画像信号Ｓ中に存在する高彩度な被写体の影響を低減して、より確度の高い特徴量を求めることができる。
【００４８】
画像処理手段５においては、以下のようにして画像処理が施される。
【００４９】
（方法１）
上述したように求められた平均値Rave，Bave，Gaveに基づいて、デジタル画像信号Ｓの各画素に対して下記の式（２）に示す演算を施す。
【００５０】
Ｒ′＝Ｒ＋（Gave−Rave）
Ｇ′＝Ｇ                                          （２）
Ｂ′＝Ｂ＋（Gave−Rave）
但し、Ｒ′，Ｇ′，Ｂ′は処理後の各画像信号の画素の信号、Ｒ，Ｇ，Ｂは処理前の画素の信号である。
【００５１】
この式（２）に基づく画像処理により、撮像装置１が固有に有する色再現のずれを補正することができる。
【００５２】
また、上述したように求められた平均値Rave，Bave，Gaveをパラメータとして下記の式（３）によりデジタル画像信号Ｓの各画素に対して演算を施すようにしてもよい（方法２）。なお、式（３）においては、各デジタル画像信号Ｓの平均値Ｒｉ，Ｇｉ，Ｂｉをも演算に用いるものである。
【００５３】
Ｒ′＝Ｒ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｒｉ）
Ｇ′＝Ｇ                                          （３）
Ｂ′＝Ｂ＋ｋ１（Gave−Rave）＋ｋ２（Ｇｉ−Ｂｉ）
但し、ｋ１，ｋ２：重み係数（ｋ１＋ｋ２＝１）
式（３）に基づく画像処理により、撮像装置１の色再現のずれに加えて、被写体の色温度の補正も行うことができる。なお、式（２），（３）においてはＧを基準としているが、ＲまたはＢを基準としてもよい。
【００５４】
また、デジタル画像信号Ｓのヒストグラムまたは累積ヒストグラムを特徴量Ｔとして抽出して画像処理を行うようにしてもよい（方法３）。この方法３は以下のようにして特徴量Ｔを求める。まず、Ｎ個のデジタル画像信号Ｓについてヒストグラムを求める。高彩度画素を除去して選択的な画素に関するヒストグラムを求めるのは好ましい方法であるが、この場合は各画像の寄与が等しくなるように選択された画素数に応じて規格化処理を行う。ヒストグラムからは各種２次的な特徴量Ｔを再抽出することができる。例えば、デジタル画像信号Ｓのメディアン値、メディアン値を中心とした前後１０％の平均値、メディアン近傍における累積ヒストグラムの傾きなどを容易に求めることができる。そして、ヒストグラムまたは累積ヒストグラムから特徴量Ｔを抽出した後、上記方法１、２と同様の方法により各画像信号について画像処理を行うことができる。
【００５５】
なお、本実施形態においては、特徴量Ｔを抽出するために記録媒体１Ａに記録された全てのデジタル画像信号Ｓを画像処理装置２に読み込む必要があるが、通常、デジタル画像信号Ｓは１画像１ファイルという形態で保存されるため、デジタル画像信号Ｓの読み込みおよび特徴量の抽出に長時間を要することとなり好ましくない。一方、画像ファイル形式の中には画像ファイル中に、本画像の他に画素数の少ない本画像の縮小画像であるサムネイル画像が同梱できるものがある。そのようなファイル形式を使用可能な場合は、サムネイル画像を表すサムネイル画像信号を用いて特徴量Ｔを抽出することにより、画像ファイル数が多い場合でも短時間で特徴量Ｔを抽出でき、本画像に対する画像処理に素早く進行することができる。
【００５６】
次いで、本発明の具体的な実施例について説明する。
【００５７】
（実施例１）
富士写真フイルム株式会社製のデジタルスチルカメラＤＳ−３００を用いて５０枚の画像の撮影を行った。各被写体中に１８％の反射率を持つニュートラルグレー色を有するグレー版を写し込んだ。画像ファイルをＩＢＭ／ＰＣＡＴ互換機のパーソナルコンピューターで読み込んだ後、下記に示す画像処理を施し、富士写真フイルム株式会社製ピクトログラフィー３０００に出力して画像のハードコピーを作成した。なお、特徴量ＴはＪＰＥＧファイル内に内包されているサムネイル画像を用いて抽出した。また、画像処理はＧのデータはそのままに、各々の方法により算出したＲとＢのシフト量を全画素について演算することにより行った。
【００５８】
Ａ）画像処理なし
Ｂ）各画像から算出した平均値のＲＧＢ値が各々一致するように各々の画像についてシフト量を求めた。
【００５９】
Ｃ）各画像のニュートラルグレーのＲＧＢ値が一致するように各々の画像についてシフト量を求めた。
【００６０】
Ｄ）方法２によりシフト量を求めた。但し、ｋ１＝０．５，ｋ２＝０．５を使用した。
【００６１】
Ｅ）方法３によりシフト量を求めた。但し、累積ヒストグラムのメディアン値の前後１０％のデータの平均値を特徴量とした。ｋ１，ｋ２は各々０．５を使用した。
【００６２】
このようにして作成した５０枚の画像のニュートラルグレーの濃度を測定し、下記式（４）によりＳＮ比を算出した。
【００６３】
ＳＮ比＝１０×ｌｏｇ（１００／Σ（（Ｒ−Ｇ）2 +（Ｂ−Ｇ）2 ）  （４）
また、１０人の被験者により官能評価を行った。５０枚画像全体の仕上がりの総合評価を１０点満点で採点してもらい、合計点を算出した。
【００６４】
【表１】
0003926494.tif 000002
【００６５】
以上のように、本発明のＤ、Ｅは従来法のＡまたはＢと比べてＳＮ比、官能評価ともに優れている。このように、本発明の画像処理方法により優れた品質のプリントまたは画像信号を提供することができる。
【００６６】
（実施例２）
実施例１と同様の方法により５０枚の画像の撮影を行った。但し、以下に示す４種のカメラを用意して各々のカメラについて撮影を行った。
【００６７】
昼光下で１８％グレー版を撮影した際に、１８％グレーのＲＧＢ値が、
ａ）Ｒ＝１２８  Ｇ＝１２８  Ｂ＝１２８
ｂ）Ｒ＝１０８  Ｇ＝１２８  Ｂ＝１２８
ｃ）Ｒ＝１２８  Ｇ＝１０８  Ｂ＝１２８
ｄ）Ｒ＝１２８  Ｇ＝１２８  Ｂ＝１０８
となるようにカメラ内のゲイン値を調整した。
【００６８】
実施例１のＡとＣの方法により画像処理を行い、ＳＮ比を算出した。
【００６９】
【表２】
0003926494.tif 000003
【００７０】
表２より、本発明の画像処理方法は、カメラのばらつきの影響を受けず、安定した仕上がり品質を有するプリントまたは画像データを提供できることがわかる。
【００７１】
（実施例３）
製造元が異なる５機種のデジタルカメラを用いて、それぞれ５０枚の画像を撮像した。これらの画像を富士写真フイルム株式会社製ピクトログラフィー３０００に出力して画像のハードコピーを作成し、合格率を判定した。合格率は、各画像について出荷可能なグレーバランスとなっているか否かにより判定した。なお、ハードコピーを作成するに際し、
（１）画像処理を行うことなくそのまま出力
（２）下記の方法によりカメラ毎の画像データを用いて色補正を行った後出力
の２つの方法により出力されたハードコピーを比較した。
【００７２】
（２）の色補正は次のように行った。
【００７３】
i)各コマについてヒストグラムを作成し、ハイライト側１％の点、シャドー側１％の点においてＲＧＢともに規格化を行い、高彩度画素の除去を行った。
【００７４】
ii)i)において残された点について、規格化を行わない元のデータについて、Ｇのデータに対応するＲおよびＢのデータの積算を行った。この積算は全てのコマの全ての画素（高彩度画素は除く）について行った。
【００７５】
iii)ii)において求めた積算値を積算回数で除算することにより平均値を求めた。Ｇに対するＲおよびＢの積算平均値のデータについて、最小二乗法により各カメラのＧに対するＲおよびＢの応答直線を求めた。
【００７６】
iv)各コマについて、そのコマのデータのみより上記i)〜iii)の方法により求めたＧ＝１２８に対応するＲおよびＢの値と、全コマを用いて上記i)〜iii)の方法により求めたＧ＝１２８のＲおよびＢの値との平均値がグレーとなるようにプリントする。すなわち、ＲおよびＢについてはその平均値と１２８との差を、そのコマの全画素について加減算して出力すべき画像データを得た。
【００７７】
以上の方法により作成したプリントについて合格率の判定を行った結果を下記の表３に示す。デジタルカメラにより撮像された画像をプリントして顧客に提供する業者は、合格率が高いほど無人で作業を行うことができるため、生産性を向上でき、利益に直結するものである。なお、合格率は１００％が理想である。
【００７８】
【表３】
0003926494.tif 000004
【００７９】
以上のように、本発明によれば、そのまま出力したのでは合格率が低いデジタルカメラにより取得された画像についても、９０％以上の合格率とすることができた。
【００８０】
（実施例４）
実施例３と同様に、５機種のデジタルカメラについてそれぞれ５０枚取得された画像に対して下記の方法（４）および（５）に示す画像処理を施してプリント画像を作成し、それぞれ５点満点の官能評価を行った。
【００８１】
（方法４）
i)上記方法２により色補正を行った。
【００８２】
ii)ハイライトおよびシャドー近傍の画素を除去し、主要被写体が中心となる画素を抽出した。その画素についてヒストグラムを作成し、そのヒストグラムの１０％〜９０％のレンジを被写体のコントラストと定義した。
【００８３】
iii)被写体のコントラストを全コマについて求め、その平均値をそのカメラの被写体コントラストと定義した。カメラの被写体コントラストが目標値となるように全コマについて階調修正を行った。なお、階調修正はＲＧＢ独立に行うこともできるが、本方法においてはＲＧＢの平均値によりＲＧＢとも同一の階調修正を行った。
【００８４】
（方法５）
i)上記方法４に引き続き、高彩度画素について下記の式（４）によりＲＧＢをＨＳＩに変換する。
【００８５】
Ｉ＝0.57735×（Ｒ＋Ｇ＋Ｂ）
Ｖ１＝0.7071×（Ｇ−Ｂ）
Ｖ２＝0.40824×（２Ｒ−Ｇ−Ｂ）                （４）
Ｈ＝ｔａｎ-1（Ｖ１，Ｖ２）
Ｓ＝√（Ｖ１2＋Ｖ２2）
そして、同一カメラの全コマの高彩度画素について、彩度Ｓの平均値Ｓｈを求める。
【００８６】
ii)彩度Ｓｈが目標値となるように、全コマの画像について色処理を行う。目標値がＳｍであるとすると、上記式（４）により各画素のＲＧＢをＨＳＩ変換し、各画素の彩度Ｓｉを下記の式（５）により変換して新たな彩度Ｓｉ′を求め、逆変換によりＲＧＢに戻す。
【００８７】
Ｓｉ′＝Ｓｉ×Ｓｍ／Ｓｈ                      （５）
以上のようにして作成した方法（１）、（２）、（４）および（５）の４種のプリントについて、それぞれ５点満点の官能評価を行い、各カメラについて平均値を求めた結果を下記の表４に示す。
【００８８】
【表４】
0003926494.tif 000005
【００８９】
表４に示すように、方法２によりグレーバランスの補正を行うことにより、ユーザの満足度は向上するが、不十分である。方法２に加えてさらに方法４のような階調修正、方法５のような色彩度修正を行うことにより、飛躍的に満足度を向上することができる。
【００９０】
なお、上記実施形態においては、上述した方法１〜５によりデジタル画像信号Ｓに対して画像処理を施しているが、下記の方法６により画像処理を施すようにしてもよい。
【００９１】
（方法６）
まず、あるデジタル画像信号Ｓについて、各画素の平均値Ｍｊ＝（Ｒｊ＋Ｇｊ＋Ｂｊ）／３（ｊ＝１〜ｍ、ｍは画素数）を求める。そして、平均値Ｍｊを横軸に、平均値Ｍｊに対する色信号Ｒｊ，Ｇｊ，Ｂｊの値を縦軸にプロットする。これを全てのデジタル画像信号Ｓに対して行い、平均値Ｍｊと色信号Ｒｊ，Ｇｊ，Ｂｊとの関係を得る。なお、平均値Ｍｊが同一の値の場合は、色信号Ｒｊ，Ｇｊ，Ｂｊを積算し、積算した回数により除算して平均値Ｍｊと色信号Ｒｊ，Ｇｊ，Ｂｊとの関係を得る。より具体的には、まず、量子化された階調数に相当するカウンタおよびデータ積算領域を用意する。複数のデジタル画像信号Ｓの各画素について色信号Ｒｊ，Ｇｊ，Ｂｊの平均値Ｍｊを求め、その平均値Ｍｊに対する各色信号値Ｒｊ，Ｇｊ，Ｂｊをデータ積算領域に加算してカウンタを増加させる。全画像信号Ｓの全画素についてこの演算が終了した後、カウンタに値を有するデータ積算領域のデータをカウンタにより除算する。そしてこれにより、各画素の平均値Ｍｊに対する色信号Ｒｊ，Ｇｊ，Ｂｊの出力のテーブルを得る。このテーブルについて最小二乗法などにより平均値Ｍｊと色信号Ｒｊ，Ｇｊ，Ｂｊの出力との関係を表す直線あるいは曲線を求める。そしてこの直線または曲線を用いて、各画素の色信号を逆変換することにより新しいＲＧＢの信号値を得る画像処理を行う。
【００９２】
この場合についても、各画素の平均値に対するＲＧＢ各出力のテーブルを作成する際に高彩度の画素を除去して低彩度の画素についてのみテーブル作成に使用することが好ましい。
【００９３】
なお、方法４においては、各画素の平均値Ｍｊと色信号Ｒｊ，Ｇｊ，Ｂｊとの関係を求めているが、各画素において選択された一の色信号（例えばＲｊ）に対する他の色信号（Ｇｊ，Ｂｊ）の関係を求めるようにしてもよく、一の色信号（Ｒｊ）に対する３色の色信号（Ｒｊ，Ｇｊ，Ｂｊ）の関係を求めるようにしてもよい。
【００９４】
また、デジタルカメラなどの撮像装置１の画像ファイル形式は、ＪＰＥＧ（正確にはJPEG File Interchange Format）が主流となっている。このファイル形式はＤＣＴ（Discrete Cosine Transfer）により周波数領域で情報圧縮を行っている。したがって、復元処理には多少の演算時間を要することになる。このようなファイルから特徴量Ｔを抽出する場合は、演算の少ない直流成分データを用いることが好ましい。ここで、直流成分とはＤＣＴ変換を行ったときの周波数０に相当する係数であり、ＪＰＥＧの８×８ブロックのＤＣＴの場合、６４ピクセルの平均値となる。このように、ＪＰＥＧファイルの直流成分データを用いることにより、全画像を復元して特徴量Ｔを抽出するよりも大幅に抽出時間を短縮することができる。
【００９５】
さらに、撮像装置１が取得されたデジタル画像信号Ｓに対して画像処理を施して記録媒体１Ａに記録することが可能なものである場合、画像処理が施されたか否かを示すフラグとともにデジタル画像信号Ｓを記録媒体１Ａに記録するようにしてもよい。これにより、画像処理が施されたデジタル画像信号Ｓに対しては特徴量Ｔの抽出および画像処理を施す必要がなくなり、効率よくデジタル画像信号Ｓに対して画像処理を行うことができる。
【００９６】
また、上記実施形態においては、各デジタル画像信号Ｓの平均値を特徴量Ｔとして、デジタル画像信号Ｓに対してグレーバランスを補正する画像処理を施すようにしているが、特徴量および画像処理の内容はこれに限定されるものではない。例えば、各デジタル画像信号Ｓのヒストグラムあるいは累積ヒストグラムを特徴量Ｔとして求めた場合、そのヒストグラムなどから各デジタル画像信号Ｓの階調を特徴量として求め、この特徴量に基づいて階調を軟調にしたり硬調にしたり、あるいはコントラストを変更したりする画像処理をデジタル画像信号Ｓに対して施すことができる。また、デジタル画像信号Ｓの周波数特性を特徴量Ｔとして求めた場合、鮮鋭度が高い場合には平滑化処理を施したり、逆に低い場合にはシャープネス強調処理を画像処理としてデジタル画像信号Ｓに対して施すことができる。
【００９７】
さらに、上記実施形態においては３色のデジタル画像信号Ｓに対して画像処理を施すようにしているが、これに限定されるものではなく、輝度信号のみのデジタル画像信号Ｓあるいは４色以上の色信号を有するデジタル画像信号Ｓに対しても同様に特徴量を抽出して画像処理を行うことができるものである。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置を内包する画像再生システムの構成を示すブロック図
【符号の説明】
１    撮像装置
１Ａ  記録媒体
２    画像処理装置
３    再生装置
４    特徴量抽出手段
５    画像処理手段
【図１】
0003926494.tif 000006