(57)【特許請求の範囲】
【請求項１】
被写体を撮像して得られる画像を受信する受信手段と、
前記受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換する変換手段と、
前記受信された画像の性質を示すシーン情報を判定する判定手段と、
前記判定されたシーン情報に応じて、前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てる決定手段と、
前記割り当てられたノイズ除去フィルタに従って、前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行する補正手段とを備える、画像処理装置。
【請求項２】
前記決定手段が決定する補正レベルは、補正しないレベルを含む、請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記変換された画像の明度、色相および／または彩度の成分で表される色信号に基づきシーン情報を判定する、請求項１に記載の画像処理装置。
【請求項４】
前記判定手段は、シーン情報の入力を受付ける受付手段を含む、請求項１に記載の画像処理装置。
【請求項５】
前記補正手段は、メディアンフィルタまたは最頻フィルタを用いて色相の成分で表される色信号を補正する、請求項１に記載の画像処理装置。
【請求項６】
前記受信された画像を複数の矩形領域に分割する分割手段と、
前記変換された画像の明度、色相および彩度の成分で表される色信号に基づき前記複数の矩形領域から特定の色相を含む特定矩形領域を検出する検出手段とをさらに備え、
前記決定手段は、さらに、前記検出手段の検出結果に基づいて、前記ノイズ除去フィルタを割り当て、前記検出された特定矩形領域に対しては、前記変換された画像の明度、色相および彩度の成分で表される色信号毎に、特定のノイズ除去フィルタを割り当てる、請求項１に記載の画像処理装置。
【請求項７】
被写体を撮影して得られる画像を受信する受信手段と、
前記受信された画像を複数の矩形領域に分割する分割手段と、
前記受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換する変換手段と、
前記変換された明度、色相および彩度の成分で表される均等色空間上の色信号に基づき前記複数の矩形領域それぞれの属性を検知する検知手段と、
前記検知された矩形領域の属性に応じて、前記矩形領域ごとに前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てる決定手段と、
前記割り当てられたノイズ除去フィルタに従って、前記矩形領域ごとに前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行する補正手段とを備えた、画像処理装置。
【請求項８】
被写体を撮像して得られる画像を受信するステップと、
前記受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換するステップと、
前記受信された画像の性質を示すシーン情報を判定するステップと、
前記判定されたシーン情報に応じて、前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てるステップと、
前記割り当てられたノイズ除去フィルタに従って、前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行するステップとを含む、画像処理方法。
【請求項９】
被写体を撮像して得られる画像を受信するステップと、
前記受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換するステップと、
前記受信された画像の性質を示すシーン情報を判定するステップと、
前記判定されたシーン情報に応じて、前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てるステップと、
前記割り当てられたノイズ除去フィルタに従って、前記変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行するステップとをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関し、特に、デジタルカメラなどで被写体を撮像して得られる画像を補正する画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関する。
【０００２】
【従来の技術】
デジタルカメラ等で撮像した画像や、イメージスキャナ等で読取った画像には、ノイズが含まれることがある。デジタルカメラやスキャナには光電変換素子として電荷結合素子（ＣＣＤ）が用いられることが多い。ＣＣＤは、光の量が弱い場合に感度が低くなるという性質を有する。このため、被写体を逆光状態で撮像した場合などには、撮像された画像の暗い領域に色むらなどのノイズが多く発生することがある。この暗い領域に発生するノイズは、明度が低いため人の目に目立つことはないが、明度を高くする補正処理を画像に施した場合にノイズが目立ってしまう。
【０００３】
また、青空などを撮影して得られる画像は、同じ色相の領域を多く含む。この同じ色相が広範囲に広がる領域においては、明るさのノイズは非常に目立ちやすい。さらに、人の顔を撮影して得られる画像では、人の顔を美しく補正するためにノイズを除去するのが望ましい。
【０００４】
このようなノイズを除去するために、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各成分に対して、スムージングフィルタやメディアンフィルタを用いてノイズを除去する補正処理が施される。
【０００５】
また、特開平９−２４７４７３号公報では、ＲＧＢの色成分で表わされる画像データを、より人間の感覚に近い均等色空間上の色信号に変換し、各色信号ごとにスムージングフィルタを用いたノイズ除去処理が提案されている。ここで用いられる均等色空間は、明度、色相および彩度の３つの成分で表わされる。この方法によれば、ＲＧＢの各成分に対してスムージング処理を施す場合に比べて、画像データの欠落やノイズの残留をより少なくすることができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＲＧＢのすべての成分に一律にスムージングフィルタを用いたノイズ除去処理を行なう場合は、階調性に乏しい平坦な画像になってしまうといった問題がある。また、明度、色相、彩度のすべての色信号に一律にノイズ除去処理を行なう場合でも、明度成分、色相成分および彩度成分が一様に平滑化されてしまうので、階調性に乏しい平坦な画像になってしまう。
【０００７】
明度、色相および彩度の各色信号は、その成分ごとに性質が異なっている。彩度成分や明度成分は単純に彩度と明度の程度を表わした指標であるが、色相成分はどのような色であるかを定めるための指標である。このため、特開平９−２４７４７３号公報のように、すべての成分に対して一様にスムージングフィルタを用いた補正処理を行なうと、画像全体に対して一様な重み付け平均が施されることになる。
【０００８】
たとえば、赤の画素と青の画素が隣接した場合には、色相成分に対する補正処理により赤と青とを平均した中間色が発生してしまうという問題がある。不要な中間色の発生を防ぐために、たとえば、すべての成分に対して一様にメディアンフィルタを施すことも考えられるが、この場合にも全体的に階調性に乏しい平坦な画像になってしまうという問題があった。
【０００９】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、画像を適切に補正することが可能な画像処理装置または画像処理方法を提供することである。
【００１０】
この発明のさらに他の目的は、画像を適切に補正することが可能な画像処理をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
【００１１】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面によれば、画像処理装置は、被写体を撮像して得られる画像を受信する受信手段と、受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換する変換手段と、受信された画像の性質を示すシーン情報を判定する判定手段と、判定されたシーン情報に応じて、変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てる決定手段と、割り当てられたノイズ除去フィルタに従って、変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行する補正手段とを備える。
【００１２】
この発明に従えば、被写体を撮像して得られる画像が受信され、受信された画像が均等色空間上の色信号に変換され、受信された画像の性質を示すシーン情報が判定される。そして、判定されたを示すシーン情報に応じて、画像を補正するレベルが決定され、決定された補正レベルにしたがって、画像が均等色空間で補正される。画像の性質を示すシーン情報に応じて補正するレベルが決定されるので、受信された画像に応じて必要なだけの補正がなされる。また、均等色空間で画像が補正されるので、画像の階調性を維持しつつ、画像が全体的にボケるのを防止することができる。その結果、画像を適切に補正することが可能な画像処理装置を提供することができる。均等色空間は、マンセル表色系、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊ｕ＊ｖ＊表色系、ＣＩＥ表色法、ＤＩＮ方式、オストワルト（Ostwald）表示などの表示方式で表される色空間が含まれる。
【００１４】
この発明に従えば、変換された画像の明度、色相および彩度ごとに補正レベルが決定される。このため、明度、色相および彩度どとに決定された補正レベルにしたがって、明度、色相および彩度ごとに画像が補正される。その結果、画像の階調性を維持しつつ、画像が全体的にボケるのを防止した画像処理装置を提供することができる。
【００１５】
好ましくは、画像処理装置の決定手段が決定する補正レベルは、補正しないレベルを含む。
【００１６】
この発明に従えば、補正レベルには、補正しないレベルが含まれるので、不必要な場合には画像が補正されない。このため、不要な補正が行なわれるのを防止することができる。
【００１７】
好ましくは、判定手段は、変換された画像の明度、色相および／または彩度の成分で表される色信号に基づきシーン情報を判定する。
【００１８】
この発明に従えば、変換された画像の明度または色相に基づき画像の性質を示すシーン情報が判定されるので、画像の明度を補正する処理が施された場合に目立つノイズを除去する補正、または、同じ色相を多く含む画像からノイズを除去する補正が可能となる。さらに、画像の性質を示すシーン情報が明度、色相または彩度に基づき判定されるので、シーン情報を詳細に判定することができ、ノイズを適切に除去することが可能となる。
【００１９】
好ましくは、画像処理装置の判定手段は、シーン情報の入力を受付ける受付手段を含む。
【００２０】
この発明に従えば、シーン情報の入力が受付けられるので、画像処理装置の操作者の意思でシーン情報を決定することができる。
【００２１】
好ましくは、補正手段は、メディアンフィルタまたは最頻フィルタを用いて色相の成分で表される色信号を補正する。
【００２２】
この発明に従えば、メディアンフィルタまたは最頻フィルタを用いて色相の色信号が補正される。このため、隣接する画素に色相が大きく異なる画素が存在する場合であっても、それら２つの色相の中間色が発生することがなく、画像を適切に補正することが可能な画像処理装置を提供することができる。
【００２３】
好ましくは、画像処理装置は、受信された画像を複数の矩形領域に分割する分割手段と、変換された画像の明度、色相および彩度の成分で表される色信号に基づき複数の矩形領域から特定の色相を含む特定矩形領域を検出する検出手段とをさらに備え、決定手段は、さらに、検出手段の検出結果に基づいて、ノイズ除去フィルタを割り当て、検出された特定矩形領域に対しては、変換された画像の明度、色相および彩度の成分で表される色信号毎に、特定のノイズ除去フィルタを割り当てる。
【００２４】
この発明に従えば、受信された画像が複数の矩形領域に分割され、変換された色信号に基づき複数の矩形領域から特定の色相を含む特定矩形領域が検出される。そして、検出された特定矩形領域に対しては特定の補正レベルが決定される。このため、特定の色相を含む特定矩形領域に対してのみ、特定の補正処理を施すことができる。特定の色相とは、例えば、人の肌色を含めることができる。特定の色相を肌色とした場合には人の肌の領域にのみノイズを除去する補正をすることができる。
【００２５】
この発明の他の局面によれば、画像処理装置は、被写体を撮影して得られる画像を受信する受信手段と、受信された画像を複数の矩形領域に分割する分割手段と、受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換する変換手段と、変換された明度、色相および彩度の成分で表される均等色空間上の色信号に基づき複数の矩形領域それぞれの属性を検知する検知手段と、検知された矩形領域の属性に応じて、矩形領域ごとに変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てる決定手段と、割り当てられたノイズ除去フィルタに従って、矩形領域ごとに変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行する補正手段とを備えた。
【００２６】
この発明に従えば、被写体を撮像して得られる画像が受信され、受信された画像が複数の矩形領域に分割され、受信された画像が均等色空間上の色信号に変換され、変換された色信号に基づき複数の矩形領域それぞれの属性が検知される。そして、検知された矩形領域の属性に応じて、矩形領域ごとに補正するレベルが決定され、決定された補正レベルにしたがって、矩形領域ごとに受信された画像が均等色空間で補正される。このため、画像を補正するレベルが部分的に変更されるので、画像の部分的な性質に合わせて画像が部分的に補正される。その結果、画像を適切に補正可能な画像処理装置を提供することができる。
【００２８】
この発明に従えば、変換された画像の明度、色相および彩度ごとに補正レベルが決定される。このため、明度、色相および彩度どとに決定された補正レベルにしたがって、明度、色相および彩度ごとに画像が補正される。その結果、画像の階調性を維持しつつ、画像が全体的にボケるのを防止した画像処理装置を提供することができる。
【００２９】
この発明の他の局面によれば、画像処理方法は、被写体を撮像して得られる画像を受信するステップと、受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換するステップと、受信された画像の性質を示すシーン情報を判定するステップと、判定されたシーン情報に応じて、変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てるステップと、割り当てられたノイズ除去フィルタに従って、変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行するステップとを含む。
【００３０】
この発明に従えば、被写体を撮像して得られる画像が受信され、受信された画像が均等色空間上の色信号に変換され、受信された画像の性質を示すシーン情報が判定される。そして、判定されたシーン情報に応じて、画像を補正するレベルが決定され、決定された補正レベルにしたがって、画像が均等色空間で補正される。画像の性質を示すシーン情報に応じて補正するレベルが決定されるので、受信された画像に応じて必要なだけの補正がなされる。また、均等色空間で画像が補正されるので、画像の階調性を維持しつつ、画像が全体的にボケるのを防止することができる。その結果、画像を適切に補正することが可能な画像処理方法を提供することができる。
【００３１】
この発明のさらに他の局面によれば、画像処理プログラムを記録したコンピュータ読取可能な記録媒体は、被写体を撮像して得られる画像を受信するステップと、受信された画像を明度、色相および彩度の成分で表される均等色空間上の色信号にそれぞれ変換するステップと、受信された画像の性質を示すシーン情報を判定するステップと、判定されたシーン情報に応じて、変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズを除去する補正レベルを決定し、決定した各補正レベルに応じてノイズ除去フィルタを明度、色相および彩度の成分で表される色信号毎に割り当てるステップと、割り当てられたノイズ除去フィルタに従って、変換された画像の明度、色相および彩度の成分で表される色信号毎にノイズ除去処理を実行するステップとをコンピュータに実行させる画像処理プログラムを記録する。
【００３２】
この発明に従えば、被写体を撮像して得られる画像が受信され、受信された画像が均等色空間上の色信号に変換され、受信された画像の性質を示すシーン情報が判定される。そして、判定されたシーン情報に応じて、画像を補正するレベルが決定され、決定された補正レベルにしたがって、画像が均等色空間で補正される。画像の性質を示すシーン情報に応じて補正するレベルが決定されるので、受信された画像に応じて必要なだけの補正がなされる。また、均等色空間で画像が補正されるので、画像画像の階調性を維持しつつ、画像が全体的にボケるのを防止することができる。その結果、画像を適切に補正することが可能な画像処理をコンピュータに実行させることが可能な画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示し、説明は繰返さない。
【００３４】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置とそれに接続される外部装置との接続関係を示す図である。図１を参照して、画像処理装置１００は、パーソナルコンピュータで構成される。画像処理装置１００には、デジタルカメラで代表される画像入力装置１５０と、画像処理装置１００から画像を出力するための画像出力装置１６０と接続されている。
【００３５】
画像入力装置１５０は、デジタルカメラの他に、デジタルビデオカメラ、イメージスキャナなどを用いることができる。画像処理装置１００に画像入力装置から入力される画像は、静止画であっても動画であってもよい。動画の場合には画像処理装置１００では、フレームごとに静止画に施すのと同様の画像処理が施される。
【００３６】
画像出力装置１６０は、レーザプリンタやインクジェットプリンタなどであり、フルカラーの画像を用紙等の記録媒体に形成する。
【００３７】
画像処理装置１００は外部記憶装置を備え、ＣＤ−ＲＯＭや光磁気ディスク、デジタルビデオディスク、フロッピィディスク等の記録媒体１７０から画像処理装置１００で実行するための画像処理プログラムを読取ることができる。この場合、後述するノイズ除去処理を画像処理装置１００で実行するための画像処理プログラムが、記録媒体１７０に記録される。そして、外部記憶装置で画像処理プログラムを読取ることにより、画像処理装置１００で実行可能となる。また、以下に述べるノイズ除去処理は、画像入力装置１５０で行なってもよい。
【００３８】
図２は、第１の実施の形態における画像処理装置の機能の概略を示す機能ブロック図である。図２を参照して、画像入力装置１５０から、Ｒ、Ｇ、Ｂそれぞれの成分からなる画像データが画像処理装置１００に送られる。画像処理装置１００は、画像入力装置１５０から受信した画像データを均等色空間に変換するための色空間変換処理部１０１と、均等色空間に変換された画像データに基づきその画像のシーン情報を判定するためのシーン判定処理部１１０と、判定されたシーン情報に基づき、均等色空間に変換された画像データからノイズを除去するためのノイズ除去処理部１２０と、ノイズが除去された均等色空間上の画像データをＲＧＢ成分で表される色空間上の画像データに変換するための色空間変換処理部１３０とを含む。
【００３９】
色空間変換処理部１０１は、ＲＧＢの３つの成分で表わされる画像データを、明度、色相および彩度の３つの成分で表わされる均等色空間に変換する。明度、色相および彩度で表わされる均等色空間には、マンセル表色系における均等色空間が用いられる。なお、ここではマンセル表色系を用いたが、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊ｕ＊ｖ＊表色系、ＣＩＥ表色法、ＤＩＮ方式、オストワルト（Ostwald）表示などの表示方式で表わされる色空間を用いるようにしてもよい。
【００４０】
シーン判定処理部１１０は、明度、色相および彩度それぞれについてヒストグラムを計算するためのヒストグラム計算部１１１と、計算されたヒストグラムをもとに画像入力装置１５０から入力された画像データのシーン情報を判定するためのシーン情報判定部１１３とを含む。ヒストグラム計算部１１１は、色空間変換処理部１０１で変換された画像データに基づき、色相、彩度および明度の成分ごとにヒストグラムを作成する。
【００４１】
シーン情報判定部１１３は、ヒストグラム計算部１１１で作成された３つのヒストグラムに基づき、画像データの性質を表わすシーン情報を判定する。シーン情報判定部１１３で判定されたシーン情報は、ノイズ除去処理部１２０に送信される。
【００４２】
画像のシーン情報とは、画像が撮影された場面を言い、撮影状況、撮影対象物などを含む。シーン情報には、露光不足の撮影状況を示す「露光不足画像」、夕焼けの風景を撮影した「夕焼け画像」、逆光の撮影状況を示す「逆光画像」、青空を被写体とした「青空画像」等がある。
【００４３】
シーン情報の判定は、明度ヒストグラム、色相ヒストグラムおよび彩度ヒストグラムを用いて行なわれる。シーン情報が「露光不足画像」と判定される条件は、明度ヒストグラムの分布が低明度領域に偏っていることである。シーン情報が「夕焼け画像」と判定される条件は、明度ヒストグラムの分布が低明度領域と高明度領域とに偏っており、かつ、色相ヒストグラムの分布が赤色成分から黄色成分に偏っており、なおかつ、彩度ヒストグラムの分布が全体的に高い領域に偏っていることである。シーン情報が「逆光画像」と判定される条件は、明度ヒストグラムの分布が高明度領域と低明度領域とに偏っていることである。シーン情報が「青空画像」と判定される条件は、色相ヒストグラムが青色成分に偏っていることである。ヒストグラムの分布の偏りは、平均値、中央値、分散、最大値、最小値を用いて判定される。
【００４４】
ノイズ除去処理部１２０は、明度、色相および彩度ごとにノイズを除去するためのフィルタを割当てるためのノイズ除去フィルタ決定部１２１と、決定されたノイズ除去フィルタを用いて明度、色相または彩度の成分を補正するためのノイズ除去部１２３とを含む。
【００４５】
ノイズ除去フィルタ決定部１２１は、シーン情報が「逆光画像」または「露光不足画像」の場合には、画像データの色相と彩度にノイズ除去のためのフィルタを割当て、明度にはノイズ除去のフィルタを割当てない。このため、ノイズ除去部１２３では、シーン情報が「逆光画像」または「露光不足画像」の場合には、色相と彩度の成分にノイズ除去処理を行ない、明度の成分にはノイズ除去処理を行なわない。
【００４６】
また、シーン情報が「夕焼け画像」または「青空画像」とされた場合には、明度にノイズ除去フィルタが割当てられ、色相と彩度にはノイズ除去フィルタは割当てない。このため、ノイズ除去部１２３では、シーン情報が「夕焼け画像」または「青空画像」の場合には、明度の成分にのみノイズ除去処理を行ない、色相と彩度の成分にはノイズ除去処理を行なわない。
【００４７】
このように、ノイズ除去部１２３は、ノイズ除去フィルタ決定部１２１で割当てられたノイズ除去フィルタを用いて、明度、色相または彩度にノイズ除去処理を行なう。また、ノイズ除去フィルタが割当てられない場合には、ノイズ除去処理を行なわない。
【００４８】
色空間変換処理部１３０は、ノイズ除去処理部１２０でノイズが除去された画像データを、ＲＧＢの色成分からなる画像データに変換し、画像出力装置１６０に出力する。なお、ここでは変換する色成分をＲ，Ｇ，Ｂとしたが、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）およびＫ（黒）の色成分からなる画像データに変換するようにしてもよい。画像出力装置１６０がプリンタである場合には、ＣＭＹＫデータでの出力が望ましい。画像出力装置１６０が、ディスプレイである場合にはＲＧＢデータでの出力が好ましい。
【００４９】
図３は、第１の実施の形態における画像処理装置で行なわれるノイズ除去処理の流れを示すフローチャートである。図３を参照して、ノイズ除去処理では、まず、画像入力装置１５０から画像データが入力される（ステップＳ０１）。ここで入力される画像データは、ＲＧＢの色成分からなるデータである。そして、入力された画像データを、色相データと彩度データと明度データに変換する（ステップＳ０２）。この変換は、特開平９−２４７４７３号公報に記載の技術等を用いることができる。
【００５０】
そして、変換された色相データ、彩度データ、明度データを用いて、色相ヒストグラム、彩度ヒストグラム、および、明度ヒストグラムが作成される（ステップＳ０３）。
【００５１】
さらに、作成された３つのヒストグラムから、入力された画像のシーン情報が判定される（ステップＳ０４）。ここでシーン情報とは、画像が撮影された場面を言い、撮影状況、撮影対象物などを含む。ステップＳ０４では、入力された画像のシーン情報が、「露光不足画像」、「夕焼け画像」、「逆光画像」または「青空画像」であるか否かが判定される。
【００５２】
シーン情報が「逆光画像」または「露光不足画像」に該当するか否かは、ステップＳ０３で作成された明度ヒストグラムに基づき判定される。明度ヒストグラムの分布が低明度領域に偏っている場合には、露光不足画像と判定される。また、明度ヒストグラムの分布が低明度領域と高明度領域とに分布が偏っている場合には、逆光画像と判定される。
【００５３】
一方、明度ヒストグラムにおいて低明度領域と高明度領域に分布が偏っており、かつ、色相ヒストグラムにおいて赤色〜黄色の成分に分布が偏っており、かつ、彩度ヒストグラムにおいて彩度が全体的に高い場合には、シーン情報が「夕焼け画像」と判定される。また、色相ヒストグラムにおいて青色の成分に分布が偏っている場合には、シーン情報が「青空画像」と判定される。
【００５４】
ステップＳ０５において、画像のシーン情報が「逆光画像」または「露光不足画像」とされた場合には、ステップＳ０７に進み、そうでない場合にはステップＳ０６に進む。ステップＳ０６では、画像のシーン情報が「夕焼け画像」または「青空画像」か否かが判断され、真の場合にはステップＳ０８に進み、偽の場合にはステップＳ０９に進む。ステップＳ０７、ステップＳ０８、ステップＳ０９では、それぞれノイズ除去フィルタを割当てる補正レベル決定処理が行なわれる。
【００５５】
ノイズ除去フィルタには、強めのノイズ除去フィルタ、弱めのノイズ除去フィルタがある。補正レベル決定処理では、ノイズ除去フィルタを割当てない場合も含まれる。したがって、補正レベル決定処理は、強めの補正を行なう場合、弱めの補正を行なう場合および補正を行なわない場合の３つの補正レベルのいずれかを決定する処理である。補正レベルは、明度、色相および彩度ごとに決定される。
【００５６】
ステップＳ０７では、色相と彩度とに強めのノイズ除去を行なうためのノイズ除去フィルタが割当てられ、明度にはノイズ除去フィルタは割当てられない。
【００５７】
ステップＳ０８では、明度に強めのノイズを除去するためのノイズ除去フィルタが割当てられ、色相および彩度にはノイズ除去フィルタは割当てられない。
【００５８】
ステップＳ０９では、明度、色相および彩度のいずれに対してもノイズ除去フィルタは割当てられない。
【００５９】
次のステップＳ１０では、画像が複数の矩形領域に分割され、分割された複数の矩形領域についてステップＳ１１からステップＳ１６までの処理が行なわれる。ステップＳ１１では、矩形領域が肌領域か否かの判定が行なわれる。肌領域とは、画像中で人の肌が撮像された領域を含む領域をいう。矩形領域が肌領域であるか否かの判断は、色相が所定の範囲内（肌色の範囲）に含まれる肌色の画素が矩形領域に占める割合により判定される。矩形領域に含まれる画素に対する肌色の画素の占める割合が高い場合にはその矩形領域を肌領域と判定する。
【００６０】
ステップＳ１２では、ステップＳ１１の判定結果に基づき、肌領域と判定された場合にはステップＳ１３に進み、そうでない場合にはステップＳ１４に進む。ステップＳ１３では、色相、彩度および明度のいずれに対しても強めのノイズ除去を行なうためのノイズ除去フィルタが優先して割当てられる。ここでは、ステップＳ０７、ステップＳ０８またはステップＳ０９で割当てられたノイズ除去フィルタに係わらず、処理対象となっている矩形領域にはステップＳ１３で決定されたノイズ除去フィルタが優先して割当てられる。
【００６１】
一方、ステップＳ１４では、ステップＳ０７、ステップＳ０８またはステップＳ０９のいずれかで設定されたノイズ除去フィルタがそのまま割当てられる。
【００６２】
ステップＳ１５では、矩形領域のすべての画素に対して色相、彩度および明度それぞれにおいてノイズ除去処理が行なわれる。このノイズ除去処理は、ステップＳ０７、ステップＳ０８、ステップＳ０９またはステップＳ１３で設定されたノイズ除去フィルタを用いて行なわれる。
【００６３】
そして、すべての矩形領域に対して処理が終了したか否かが判断され（ステップＳ１６）、終了していない場合にはステップＳ１１に進み上述の処理が繰返し行なわれ、終了した場合にはステップＳ１７に進む。
【００６４】
ステップＳ１７では、その他の画像補正処理が行なわれる。その他の画像補正処理とは、たとえば、露光不足画像に対しては画像の明度を高くする処理や、逆光画像に対しては、明度の低い領域の明度を高くする処理等をいう。
【００６５】
ステップＳ１８では、ノイズが除去された明度、色相および彩度の成分からなる画像データを、ＲＧＢ成分からなる画像データに変換する。そして、変換されたＲＧＢ表色系で表わされる画像データが、画像出力装置１６０に出力される（ステップＳ１９）。
【００６６】
図４は、ノイズ除去フィルターの１つであるスムージングフィルタの一例を示す図である。図４（Ａ）は、強調量の大きいスムージングフィルタを示し、図４（Ｂ）は強調量の小さいスムージングフィルタを示す。強調量の大きいスムージングフィルタが強めのノイズ除去フィルタに該当し、強調量の小さいスムージングフィルタが弱めのノイズ除去フィルタに該当する。
【００６７】
図４に示されるように、強調量の大きいスムージングフィルタを用いる場合には、対象画素の値がその周辺の画素の値で補間される割合が大きく、逆に、強調量の小さいスムージングフィルタを用いると、対象画素の値がその周辺の画素の値で補間される割合が小さい。
【００６８】
このスムージングフィルタは、ノイズ除去フィルタ決定部１２１で、明度および彩度の成分の処理に用いられるノイズ除去フィルタである。色相の成分に対して用いられるノイズ除去フィルタは、本実施の形態においては、メディアンフィルタまたは最頻フィルタを用いている。メディアンフィルタとは、フィルタ内の参照画素を昇順（あるいは降順）に並べ替え、その中間値を新しい補正後の値に置換える処理を行なうフィルタである。
【００６９】
最頻フィルタは、フィルタ内の参照画素をもとにヒストグラムを作成し、その最頻値を新しい補正後の値とするものである。しかし、本実施の形態において用いる最頻フィルタは３×３画素や５×５画素程度の大きさであるため、色相成分がとり得る値の範囲（０〜２５５）に比べて、フィルターで処理する画素値の数が非常に小さい。このため、最頻フィルタを単純に使用することはできない。そこで、本実施の形態においては、色相成分の値の範囲（０〜２５５）を予め４段階に分割する。４段階とは、０〜６３の第１範囲、６４〜１２７の第２範囲、１２８〜１９１の第３範囲、１９２〜２５５の第４範囲である。そして、フィルタ内の参照画素が上述の４段階のいずれに当てはまるかをカウントし、最も頻度の高い段階に含まれる画素の色相成分の平均値を求めるようにする。このようにすれば、極端に不要な色相が発生することがない。ここで、色相成分の分割数を４段階に限る必要はなく、より精密な処理を行なう場合には、段階数を増やすようにすればよい。
【００７０】
また、ノイズ除去処理に用いるフィルタのサイズを３×３画素に限る必要はなく、あらゆる大きさのフィルタを用いることができる。さらに、彩度成分と明度成分に同じ処理を施す必要はない。たとえば、人間の視覚は、明るさの変化に比べて彩度の変化に敏感でないため、彩度成分に対して明度成分よりも強めのノイズ除去処理を施すようにしてもよい。
【００７１】
なお、本実施の形態においては、シーン判定処理部１１０で画像データの性質を自動で判定するようにしたが、使用者が画像処理装置１００のキーボードやマウス等からシーン情報を入力するようにしてもよい。図５は、画像のシーン情報を入力するためのグラフィックユーザインターフェイス（ＧＵＩ）の一例を示す図である。図５を参照して、シーン選択欄において、逆光、露光不足、夕焼け、青空、人物等のシーン情報が例示される。これらの例示されたシーン情報に対応して設けられたチェック欄をマウス等のポインティングデバイスで指示することで、シーン情報が入力される。
【００７２】
ノイズ除去処理が施される前の画像が「補正前画像」の領域に表示され、ノイズ除去処理を施した後の画像が「補正後画像」の領域に並べて出力される。使用者は、シーン情報の選択を変えることで画像がどのように補正されるのかを見ることができるようになっている。
【００７３】
以上説明したように第１の実施の形態における画像処理装置１００においては、入力された画像を明度、彩度および色相を成分とする均等色空間において、明度、彩度および色相のそれぞれに異なるノイズ除去処理を施すようにした、このため、画像の性質に応じて適切な補正が行なわれる。その結果、補正により画像がぼけるのを防止することができ、適切なノイズ除去処理を行なうことができる。
【００７４】
また、画像の性質に応じて、明度、色相および彩度の成分にノイズ除去を行なうか否かを決定し、そして、ノイズ除去を行なう場合には、用いるノイズ除去フィルタを割当てるので、画像の性質に応じたノイズ除去を行なうことができる。
【００７５】
［第２の実施の形態］
次に第２の実施の形態における画像処理装置について説明する。図６は、第２の実施の形態における画像処理装置の機能の概略構成を示すブロック図である。第２の実施の形態における画像処理装置は、第１の実施の形態における画像処理装置に矩形領域分割部１０５を付加し、シーン判定処理部１１０を属性判定処理部１４０に変更した構成となっている。ここでは、第１の実施の形態と異なる部分について説明し、重複した部分については説明を繰返さない。
【００７６】
矩形領域分割部１０５は、色空間変換処理部１０１で変換された画像データを、複数の矩形領域に分割する。矩形領域は、３×３画素の矩形の領域である。本実施の形態においては矩形領域のサイズを３×３画素としているが、これに限られるわけでなく、８×８画素、１６×１６画素などを用いることができる。矩形領域のサイズは、撮影された画像の大きさや処理速度に応じて定めることができる。
【００７７】
そして、属性判定処理部１４０およびノイズ除去処理部１２０に分割された矩形領域ごとに画像データが送信される。属性判定処理部１４０とノイズ除去処理部１２０では、送信された矩形領域ごとに属性判定処理およびノイズ除去処理が行なわれる。
【００７８】
属性判定処理部１４０は、明度、色相および彩度それぞれについてヒストグラムを計算するためのヒストグラム計算部１１１と、計算されたヒストグラムをもとに画像入力装置１５０から入力された矩形領域の属性を判定するための属性判定部１１５とを含む。ヒストグラム計算部１１１は、色空間変換処理部１０１で変換された画像データに基づき、明度、色相および彩度の成分ごとにヒストグラムを作成する。
【００７９】
属性判定部１１５は、ヒストグラム計算部１１１で作成された３つのヒストグラムに基づき、矩形領域の属性を判定する。属性判定部１１５で判定された属性は、ノイズ除去処理部１２０に送信される。
【００８０】
矩形領域の属性とは、「肌領域」、「暗い領域」または「べた領域」をいう。肌領域とは、画像中で人の肌が撮像された領域を含む領域をいう。矩形領域が肌領域であるか否かの判断は、色相が所定の範囲内（肌色の範囲）に含まれる肌色の画素が矩形領域に占める割合により判定される。矩形領域に含まれる画素に対する肌色の画素の占める割合が所定の割合を超える場合にはその矩形領域は肌領域と判定される。
【００８１】
暗い領域とは、明度の低い領域であり、例えば、逆光で撮影された画像の中で他の領域よりも明度の低い領域が該当する。矩形領域に含まれる画素の明度の平均値が、所定の値よりも低い場合にはその矩形領域は暗い領域と判定される。
【００８２】
べた領域とは、同じ色相の画素を含む領域であり、例えば、青空を撮影した画像等に多く含まれる。矩形領域に含まれる画素の色相が所定の範囲に偏っている場合には、その矩形領域はべた領域と判定される。
【００８３】
図７は、第２の実施の形態における画像処理装置で行なわれるノイズ除去処理の流れを示すフローチャートである。図７を参照して、ノイズ除去処理は、まず、ＲＧＢの色成分からなる画像データが入力される（ステップＳ３１）。そして、入力された画像データが、明度、色相および彩度を成分とする均等色空間の色信号に変換される（ステップＳ３２）。そして、明度、色相および彩度の成分それぞれについて、ヒストグラムが作成される（ステップＳ３３）。ヒストグラムは横軸をそれぞれ明度、色相または彩度とし、縦軸を画素の度数としたヒストグラムである。
【００８４】
ステップＳ３４では、画像データを複数の矩形領域に領域分割する。そして、分割された矩形領域それぞれについて、属性判定が行なわれる（ステップＳ３５）。属性判定は、分割された矩形領域が肌領域であるのか、暗い領域であるのか、あるいはべた領域であるのかが判定される。
【００８５】
矩形領域の属性判定が終了すると、指定領域の属性が肌領域か否かが判断され（ステップＳ３６）、肌領域と判断された場合にはステップＳ３９に進み、そうでない場合にはステップＳ３７に進む。指定領域とは、属性判定の対象となった矩形領域をいい、ステップＳ３６では指定領域の属性判定は終了している。
【００８６】
ステップＳ３７では、指定領域の属性が暗い領域か否かが判断され、暗い領域の場合にはステップＳ４０に進み、そうでない場合にはステップＳ３８に進む。ステップＳ３８では、指定領域の属性がべた領域か否かが判断され、べた領域とされた場合にはステップＳ４１に進み、そうでない場合にはステップＳ４２に進む。
【００８７】
ステップＳ３９〜ステップＳ４２においては、明度、色相および彩度それぞれに対してノイズ除去フィルタが割当てる補正レベル決定処理が行なわれる。ノイズ除去フィルタには、強めのノイズ除去フィルタ、弱めのノイズ除去フィルタがある。補正レベル決定処理では、ノイズ除去フィルタを割当てない場合も含まれる。したがって、補正レベル決定処理は、強めの補正を行なう場合、弱めの補正を行なう場合および補正を行なわない場合の３つの補正レベルのいずれかを決定する処理である。補正レベルは、明度、色相および彩度ごとに決定される。
【００８８】
ステップＳ３９では、指定領域の属性が肌領域と判定されたため、色相および彩度に強めのノイズ除去処理を行なうために強調量の大きいノイズフィルタが割当てられ、明度には強調量の小さいノイズフィルタが割当てられる。
【００８９】
ステップＳ４０では、指定領域の属性が暗い領域と判定されたため、色相および彩度に強調量の大きいノイズ除去フィルタが割当てられ、明度にはノイズ除去フィルタは割当てられない。
【００９０】
ステップＳ４１では、指定領域の属性がべた領域と判定されたため、この場合には明度に強調量の大きいノイズ除去フィルタが割当てられ、色相および彩度にはノイズ除去フィルタは割当てられない。
【００９１】
ステップＳ４２では、矩形領域の属性が肌領域、暗い領域およびべた領域のいずれでもない場合に該当し、この場合には、明度、色相および彩度のいずれに対してもノイズ除去フィルタは割当てられない。
【００９２】
ステップＳ４３では、指定領域内のすべての画素に対して、ステップＳ３９〜ステップＳ４２のいずれかで割当てられたノイズ除去フィルタを用いてノイズ除去処理が行なわれる。このノイズ除去処理は、明度、色相および彩度に対して別々に行なわれる。また、ノイズ除去フィルタが割当てられていない明度、色相および彩度には、ノイズ除去処理は行なわれない。
【００９３】
そして、ステップＳ４４において、すべての矩形領域について処理が終了したか否かが判断され、終了した場合にはステップＳ４５に進む。処理が終了していない場合にはステップＳ３５に進み、上述の処理が繰返し行なわれる。
【００９４】
ステップＳ４５では、その他の画像補正処理、たとえば、逆光画像に対して明度の低い領域の明度を高くする補正処理や、露光不足画像の明度を全体的に高くする補正処理が行なわれる。
【００９５】
そしてステップＳ４６では、明度、色相および彩度の成分で表される画像データを、ＲＧＢ表色系で表わされる画像データに変換する。そして、ＲＧＢ表色系で表わされた画像データが、画像出力装置１６０に出力される（ステップＳ４７）。
【００９６】
以上説明したように本実施の形態における画像処理装置は、入力された画像の明度、色相および彩度それぞれの成分に対して、画像の特徴に応じたノイズ除去フィルタを別々に適用することにより、不要な色や不自然なノイズを発生させることがなく、人間の視覚に適応したノイズ除去処理を施すことができる。
【００９７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態における画像処理装置とそれに接続される外部装置との接続関係を示す図である。
【図２】  第１の実施の形態における画像処理装置の機能の概略を示す機能ブロック図である。
【図３】  第１の実施の形態における画像処理装置で行なわれるノイズ除去処理の流れの示すフローチャートである。
【図４】  ノイズ除去フィルターの１つであるスムージングフィルタの一例を示す図である。
【図５】  画像の性質を入力するためのグラフィックユーザインターフェイスの一例を示す図である。
【図６】  第２の実施の形態における画像処理装置の機能の概略を示す機能ブロック図である。
【図７】  第２の実施の形態における画像処理装置で行なわれるノイズ除去処理の流れの示すフローチャートである。
【符号の説明】
１００  画像処理装置、１０１，１３０  色空間変換処理部、１０５  矩形領域分割部、１１０  シーン判定処理部、１１１  ヒストグラム計算部、１１３  シーン情報判定部、１１５  属性判定部、１２０  ノイズ除去処理部、１２１  ノイズ除去フィルタ決定部、１２３  ノイズ除去部、１４０  属性判定処理部、１５０  画像入力装置、１６０  画像出力装置、１７０  記録媒体。
【図１】
0004154847.tif 000002
【図２】
0004154847.tif 000003
【図３】
0004154847.tif 000004
【図４】
0004154847.tif 000005
【図５】
0004154847.tif 000006
【図６】
0004154847.tif 000007
【図７】
0004154847.tif 000008