(57)【特許請求の範囲】
【請求項１】
入力画像信号で表される画像中の人物を検出する人物検出部と、
前記人物検出部で検出された人物の有無により被写体を判定し、判定結果を含む被写体情報を出力する被写体判定部と、
前記被写体判定部により入力された被写体情報、及び前記入力画像信号の輝度情報と彩度情報をもとに画像特徴を抽出する画像特徴判断部と、
前記画像特徴判断部で抽出された画像特徴に応じたノイズ低減フィルターを作成するフィルター作成部と、
前記フィルター作成部で作成されたノイズ低減フィルターを用いて前記入力画像信号に対するノイズ低減処理を行うノイズ低減処理部と、
前記ノイズ低減処理部でノイズ低減処理を受けた画像に対し、前記画像特徴判断部で抽出された画像特徴に応じて画質を補正する画質補正部を備える
ことを特徴とする画像処理装置。
【請求項２】
前記人物検出部は、顔を検出することで、人物を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴判断部は、前記画像特徴として、輝度情報と彩度情報より算出される画像の逆光度合いを抽出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記フィルター作成部は、
前記画像特徴に応じて、ノイズ低減フィルターを適用する画素値の範囲を決定する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画素値の範囲が輝度値の範囲、又は色情報に関する範囲であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記フィルター作成部は、前記画像特徴に応じて、ノイズ低減フィルターの大きさ、及び強度のうち少なくとも１つを決定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記フィルター作成部は、前記画像特徴に応じてノイズ低減フィルターを構成する要素のうち、所定の位置の要素を零に変化させることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
入力画像信号で表される画像のサイズを判定する画像サイズ判定部をさらに備え、
前記フィルター作成部は、前記画像特徴判断部で抽出された前記画像特徴および前記画像サイズ判定部で判定された前記画像のサイズに応じて、前記ノイズ低減フィルターの作成を行い、
前記画質補正部は、前記画像特徴判断部で抽出された前記画像特徴および前記画像サイズ判定部で判定された前記画像のサイズに応じて、画質補正に関する補正量を変更する
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
入力画像信号で表される画像中の人物を検出する人物検出ステップと、
前記人物検出ステップで検出された人物の有無により被写体を判定し、被写体情報を出力する被写体判定ステップと、
前記被写体判定ステップにより入力された被写体情報、及び前記入力画像信号の輝度情報と彩度情報をもとに画像特徴を抽出する画像特徴判断ステップと、
前記画像特徴判断ステップで抽出された画像特徴に応じたノイズ低減フィルターを作成するフィルター作成ステップと、
前記フィルター作成ステップで作成されたノイズ低減フィルターを用いて前記入力画像信号に対するノイズ低減処理を行うノイズ低減処理ステップと、
前記ノイズ低減処理ステップでノイズ低減処理を受けた画像に対し、前記画像特徴判断ステップで抽出された画像特徴に応じて画質を補正する画質補正ステップを備える
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法におけるそれぞれのステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力されたデジタル画像信号を画像信号の内容に応じて逆光補正の画像処理する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
昨今のデジタルカメラの普及により、デジタルカメラによる撮影や、撮影画像のプリント需要が増加している。しかし、デジタルカメラはその手軽さ故に、カメラに関して知識が十分でないユーザーでも簡単に取り扱うことが可能であり、様々な環境下で撮影を行うため、好適な条件で撮影された画像ばかりではなく、逆光環境における撮影画像なども存在する。好適でない条件で撮影した画像であっても、内容が重要である場合には廃棄せずに、適切な画像補正を行い、好適な状態にして、保存し、あるいはプリントすることが望まれる。
【０００３】
好適でない条件で撮影した画像の中には、デジタルカメラの素子の特性などの条件により、受光した光の量に対応した信号以外に、不要な信号が付加されて出力されることがある。このような撮影画像に本来含まれない不要な信号を以降「ノイズ」と記載する。ノイズが発生する状況の例として、例えば、室内などの薄明かりの環境下における撮影時など、ＩＳＯ感度を高めて撮影した場合に、画像全体に粒状のノイズが含まれることがある。このようなノイズは画質が劣化する要因であり、プリントしたときの見栄えに影響するため、プリントする前に補正しノイズを低減することが望まれる。
【０００４】
近年、写真店の業務用プリンターや大型商業施設などに設置されているセルフ操作型印刷装置（プリントキオスク端末）などの業務用プリンターには、逆光やコントラスト等の画質を自動で補正する機能が搭載されており、好適でない条件で撮影した画像の画質を改善することができる。しかしながら、このような業務用プリンターに搭載されている自動画質補正機能により写真の明るさやコントラストを改善する際、入力画像にノイズが含まれていると、明るさが改善される効果に伴いノイズ部分の明るさも強調されてしまうことがある。その結果、補正前には目立たなかったノイズが、補正後に目立って表示されてしまう。このような事態を回避するために、明るさやコントラストを改善する前段階として、入力画像に含まれるノイズを極力低減することが重要である。このためには、画質補正処理に関するパラメーターと、ノイズの低減処理に関するパラメーターを、独立に制御するのではなく、関連づけて制御するのが望ましい。
【０００５】
従来のノイズ低減に関する技術として、例えば信号の変化が激しい部分をエッジ部として検出し、検出されたエッジ部では色差信号をそのまま出力し、非エッジ部では色差信号を平均化して出力するものがある（例えば、特許文献１参照）。
【０００６】
また、輝度に対する、画像に含まれるノイズの分布式を作成し、輝度値に応じて定められる平滑化強度σを用いて処理をすることで、輝度に依存したノイズを効果的に低減する方法が示されている。平滑化強度σは、対応するノイズ量が小さいときには弱く、対応するノイズ量が大きいときには強く設定される（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平３−２９１０９３号公報
【特許文献２】特開２００６−２０９７９５号公報
【特許文献３】特開２０１１−７６１９８号公報
【特許文献４】特開２０１０−１０２４２６号公報
【０００８】
特許文献３及び４については後に言及する。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に示されている技術は、信号の変化が激しい部分をエッジ部として検出し、エッジ部では信号をそのまま出力している。この手法の場合、信号の変化が少ない非エッジ部に存在する数ピクセル程度の大きさのノイズを低減するにあたり効果がある。しかしながら、ノイズ部分が大きくなり、かつ、ノイズ部分と非ノイズ部分とで輝度に差がある場合、ノイズ部分とエッジ部の区別が難しくなる。すなわち、本来低減すべきノイズ部分がエッジ部として判断され、低減処理が行われず、そのまま出力されてしまう可能性がある。また、数ピクセル程度の大きさのノイズであっても、エッジ部にノイズが発生しているとその場合にも信号はそのまま出力されるため、エッジ部内のノイズを低減することができない。
【００１０】
特許文献２に示されている技術は、輝度に対するノイズの分布式を作成し、分布式から算出した平滑化強度σを利用して算出する。この手法は、分布式で表されるような輝度に依存して存在するノイズを低減するにあたり効果を発揮する。しかしながら、輝度とノイズ量の関係、すなわちノイズが多く分布する輝度範囲は、撮影するデジタルカメラの素子などの特性によって異なるのが通常である。従って、撮影機器の特性に関する情報が不明であり、最適なノイズの分布式を用意できない場合には十分な効果が得られない。例えば、業務用プリンターでの印刷においては、デジタルカメラにより撮影された画像のみが持ち込まれるため、最適なノイズの分布式を用意するのは困難である。
【００１１】
また、特許文献２に示されている技術を利用した場合には、実施する装置により規定される分布式によって重点的にノイズを低減する輝度範囲が、例えば輝度が低い範囲というように、撮影系により求められる。しかし、ノイズを重点的に低減すべき輝度の範囲は撮影系以外に、撮影された画像の特徴にも影響される。従来の技術では、撮影された画像そのものの特徴が考慮されておらず、それゆえに重点的にノイズを低減する輝度範囲を画像に合わせて切替えることができない。
【００１２】
本発明は、上述のような問題を解決するためになされたもので、デジタルカメラ等の素子の特性などの撮影機器や撮影環境に関する情報を必要とすることなく、入力された画像の輝度情報と彩度情報を解析することで特徴を抽出し、抽出した特徴をもとに、入力画像毎にノイズ低減フィルターを作成し、作成されたフィルターを適用するとともに、抽出した特徴をもとにして、ノイズ低減処理と関連づけて画質を補正することで、画質補正によりノイズが強調される問題を抑え、効果的なノイズ低減を行い得るようにすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明にかかる画像処理装置は、
入力画像信号で表される画像中の人物を検出する人物検出部と、
前記人物検出部で検出された人物の有無により被写体を判定し、判定結果を含む被写体情報を出力する被写体判定部と、
前記被写体判定部により入力された被写体情報、及び前記入力画像信号の輝度情報と彩度情報をもとに画像特徴を抽出する画像特徴判断部と、
前記画像特徴判断部で抽出された画像特徴に応じたノイズ低減フィルターを作成するフィルター作成部と、
前記フィルター作成部で作成されたノイズ低減フィルターを用いて前記入力画像信号に対するノイズ低減処理を行うノイズ低減処理部と、
前記ノイズ低減処理部でノイズ低減処理を受けた画像に対し、前記画像特徴判断部で抽出された画像特徴に応じて画質を補正する画質補正部を備える
ことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像の特徴に合わせてノイズを中心的に低減する領域を選択することができ、撮影機器や撮影環境に関する情報を必要とすることなく、入力された画像に対し十分なノイズ低減効果を得ることができる。そのため、フィルターリングによりノイズとともに失われる画像の重要な要素の量を減らし、画像そのものの劣化を抑制することができる。
【００１５】
また、画像特徴判断部で抽出した特徴情報を、フィルター作成部と画質補正部の双方で利用するため、画質補正部によって行われる補正に合わせてノイズ低減量を調整でき、ノイズ部分も同様に強調されてしまうと言った事態を回避することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１の画像処理装置を示すブロック図である。
【図２】（ａ）〜（ｄ）は、非人物画像特徴判断部２１より抽出される輝度ヒストグラムの４つのタイプを示す図である。
【図３】人物画像特徴判断部２２による顔領域及び背景領域の輝度に基づく逆光、順光の検出を示す図である。
【図４】フィルター作成部３０の構成例を示すブロック図である。
【図５】フィルター作成部３０の強度決定部３３による強度調整後のフィルター係数の一例を示す図である。
【図６】（ａ）及び（ｂ）は、フィルターのサイズ（ｍ×ｎ）及び強度σと、フィルター係数の各要素の関係を示す図である。
【図７】（ａ）〜（ｆ）は、フィルター作成部３０の形状決定部３４による形状調整の異なる例、即ちそれぞれの形状調整により無効化されるフィルター係数の要素を示す図である。
【図８】形状決定部３４による形状調整による、ノイズ低減処理４０における演算量の変化を表す図である。
【図９】（ａ）及び（ｂ）は、フィルター作成部３０の形状決定部３４による形状調整のさらに異なる例を示す図である。
【図１０】フィルター作成部３０の適用範囲決定部３５により決定される適用範囲の上限値及び下限値の一例を示す図である。
【図１１】フィルター作成部３０の適用範囲決定部３５により決定される適用範囲の上限値及び下限値の他の例を示す図である。
【図１２】フィルター作成部３０の適用範囲決定部３５により決定される適用範囲の上限値及び下限値の他の例を示す図である。
【図１３】ノイズ低減処理部４０において行われるノイズ低減処理を説明する図である。
【図１４】実施の形態１の画像処理装置の変形例を示すブロック図である。
【図１５】（ａ）〜（ｃ）は、実施の形態１の画像処理装置による効果を説明する図である。
【発明を実施するための形態】
【００１７】
実施の形態１
図１は本発明の実施の形態１の構成を示すブロック図である。
本発明にかかる画像処理装置２は、人物検出部１０と、被写体判定部１１と、画像特徴判断部２０と、フィルター作成部３０と、ノイズ低減処理部４０と、画質補正部５０とを備える。
【００１８】
人物検出部１０は、入力部１から供給される入力画像信号ＦＡで表される画像中の人物、例えば人物の顔を検出する。
被写体判定部１１は、人物検出部１０による検出結果、即ち、人物、例えば顔の有無により被写体を判定する。
画像特徴判断部２０は、画像信号の輝度情報と彩度情報をもとに画像の特徴を抽出する。
フィルター作成部３０は、画像特徴判断部２０で抽出された画像の特徴から、フィルターのサイズ、強度、形状、及びフィルターを適用する画素値範囲を決定しフィルターを作成する（フィルター情報の生成乃至フィルター条件の決定を行う）。このような処理は、画像の特徴に応じて適切な強度でフィルタリング乃至平滑化を行うこと、及び演算量をできるだけ少なくすることを目的として行われる。
ノイズ低減処理部４０は、フィルター作成部３０で作成されたフィルターを、入力画像信号ＦＡに適用してノイズ低減処理を行う。
画質補正部５０は、画像特徴判断部２０による判断の結果をもとにして、ノイズ低減処理部４０の出力で表される画像の画質を補正する。
【００１９】
画像処理装置２への画像信号（入力画像信号）ＦＡは、入力部１から入力される。
入力部１は、例えばＳＤカードや、ＣＤ、ＤＶＤ、ＵＳＢメモリー、あるいはハードディスクなどの記憶媒体を読み込むための機器であるのが主流であるが、ＬＡＮケーブルや無線などのネットワークを経由して画像信号が入力されることもある。
入力される信号は、画像信号に限らず、映像信号（動画像信号、即ち複数のフレームの画像信号の列）でも良い。映像信号を入力する場合、映像信号内の１フレームを選択し画像信号として抽出することとしても良く、映像信号の一区間を選択する（この場合は、連続する画像信号として画像処理装置２に供給される）こととしても良い。
【００２０】
入力画像信号ＦＡは、画像処理装置２内の人物検出部１０と、画像特徴判断部２０と、ノイズ低減処理部４０に供給される。以下、画像処理装置２の構成要素について詳細を説明する。
【００２１】
以下では、人物検出部１０が、顔の有無により人物の有無を検出するものとして説明する。
人物検出部１０は、入力画像信号ＦＡを解析し、画像内に写っている人物の顔領域を検出し、検出された顔領域を示す情報を、顔情報ＨＦとして出力する。顔情報ＨＦは、被写体判定部１１に供給される。
【００２２】
顔情報ＨＦは、一人もしくは複数の顔の各々に関する情報ＨＦ（ｎ）（ｎ＝１〜Ｎ）を含む。ここでＮは検出された顔の数を表す。検出された顔の各々についての情報ＨＦ（ｎ）は、各顔の座標や、眼などの顔を構成する要素の座標に関する情報を含む。
顔領域の検出には、肌色検出やパターンマッチング等の手法があるが、これらの手法は公知の技術とし、詳細には記載しない。
【００２３】
人物検出部１０による人物の顔領域の検出には、領域の大きさに関する閾値を設定することができる。例えば、顔の特徴を有する領域がごく小さい、例えば所定値よりも小さければ顔と判断しない構成にすることもできる。また、ＨＦとしてごく小さい顔領域が存在することを示す情報を出力することとしてもよい。これは、後述する被写体判定部１１において、顔領域がごく小さい場合には、非人物写真と認識するように構成してもよいためである。
【００２４】
また、以下では、被写体判定部１１の動作において、人物画像であるかの判断を顔の有無に基づいて判断するものとして説明するが、例えば人物が後ろ向きに写っていて、画像内に顔が写っていない画像も同様に人物画像として処理したい場合には、人物検出部１０の機能に人物の顔以外の特徴、例えば、体の構成要素を検出する機能を追加し、顔情報の代わりに検出された人物の情報を出力する構成とすればよい。
ただし、人物画像特有の補正は、顔を中心に適用されることが多いため、顔の有無に基づいて、人物の有無を判断する方が有意義であることが多い。
【００２５】
被写体判定部１１は、人物検出部１０より入力された顔情報ＨＦをもとにして、撮影画像が人物画像（人の顔を含む画像）であるか、あるいはそれ以外の非人物画像（人の顔を含まない画像）かを判定する。判定は顔情報ＨＦが、一定以上の大きさの１人以上の顔が含まれることを示す場合は人物画像と判断し、それ以外の画像を非人物画像と判断する。
【００２６】
被写体判定部１１は、上記の被写体についての判定結果を示す被写体情報Ｏｂを、画像特徴判断部２０に出力する。
【００２７】
なお、本例では被写体判定部１１において人物画像と非人物画像に分類しているが、非人物画像を、例えば動物画像や風景画像などのように、より細かく分類してもよい。
【００２８】
被写体判定部１１は、人物画像と判断した場合には、被写体情報Ｏｂとして、人物画像であることを示す信号とともに、顔情報ＨＦを合わせて出力する。
また、非人物画像であると判断した場合には、被写体情報Ｏｂとして、非人物画像であることを示す信号を出力する。この場合、被写体に関する詳細な情報（例えば、動物等の被写体の内容と座標）を合わせて出力してもよい。
【００２９】
画像特徴判断部２０は、非人物画像特徴判断部２１と人物画像特徴判断部２２とを備える。画像特徴判断部２０は入力部１より出力された入力画像信号ＦＡと、被写体判定部１１より出力された被写体情報Ｏｂを利用して、画像の特徴を判断する。以下、人物画像特徴判断部２２と非人物画像特徴判断部２１により画像の特徴を判定する方法の例について説明する。
【００３０】
非人物画像特徴判断部２１は、被写体判定部１１により出力された被写体情報Ｏｂと入力画像信号ＦＡに含まれる輝度情報および彩度情報から、画像の特徴を判断し、特徴情報Ｂｌとしてフィルター作成部３０と画質補正部５０に出力する。非人物画像特徴判断部２１による動作は、入力画像ＦＡが被写体判定部１１により非人物画像であると判断された場合（被写体情報Ｏｂによりそのような判断結果が示されている場合）に行われる。
【００３１】
画像信号から特徴を抽出するには、例えば特許文献３に示されている、画像信号から得られる輝度ヒストグラムから、分布の偏り、頻度が少ない階級などのヒストグラムの形状を示す特徴を算出する方法を利用することができる。輝度ヒストグラムは、画像信号の輝度値の階調を階級値とし、各輝度値をもつ累積画素数を頻度として計数する。入力画像ＦＡの全体から輝度ヒストグラムを作成しても良く、特定の部分例えば、被写体情報Ｏｂにより指示されている被写体の領域を除いて輝度ヒストグラムを作成してもよい。なお、輝度ヒストグラムは、必ずしもすべての画素にわたって累積する必要はなく、縦横数画素ごとに累積する方法や、画像信号を縮小した後の画像からヒストグラムを作成する方法など、特徴を得るために必要十分な一部の画素から作成することとしても良い。
【００３２】
図２（ａ）〜（ｄ）は、非人物画像特徴判断部２１より抽出される輝度ヒストグラムの特徴を示す概形の例である。画像信号の輝度ヒストグラムの概形をタイプ１〜４に分類する。各タイプの特徴を説明する。
図２（ａ）に示すタイプ１は、影になっている部分の光量が不足し、画像内に黒く潰れた領域が存在する。その他の領域は、階調差も明るさも十分である。
図２（ｂ）に示すタイプ２は、光が当たった部分の光量が強過ぎて、画像内に白く飛んだ領域が存在する。その他の領域は、階調差も明るさも十分である。
図２（ｃ）に示すタイプ３は、影になっている部分の光量がやや不足していると同時に、光が当たった部分の光量も強いため、低輝度と高輝度のそれぞれに、階調差は不十分であるが階調潰れまではしていない領域が存在する。
タイプ１〜３は、光が当たった部分、または光源そのものを背にして被写体を撮影する際に発生する逆光画像によく見られる画像特徴である。
一方、図２（ｄ）に示すタイプ４は、画像全体の領域において、階調差も明るさも十分であり、順光画像である。
【００３３】
非人物画像特徴判断部２１は、前述のように輝度情報のうち、輝度ヒストグラムから抽出されたタイプ１〜３のような画像特徴の種別を、特徴情報Ｂｌの一部としてフィルター作成部３０と画質補正部５０に出力する。
なお、本例では、輝度ヒストグラムから逆光に関する特徴を抽出したが、逆光の特徴以外にも、コントラストに関する特徴や彩度に関する特徴を抽出して、利用することができる。
【００３４】
非人物画像特徴判断部２１における、彩度情報による画像の特徴の抽出も、輝度情報による画像の特徴と同様に、彩度ヒストグラムの作成によって行うことができる。彩度ヒストグラムは、画像信号の彩度値の階調を階級値とし、各彩度値をもつ累積画素数を頻度とする。彩度ヒストグラムを利用すれば、画像の色彩の鮮やかさに関する特徴を抽出することができる。
【００３５】
説明の簡単化のため、下記の説明ではＨＳＶ色空間における平均彩度値をもとにした特徴を説明する。平均彩度値ＳＡｖは、画像信号の各画素の持つ彩度情報Ｓを、画面全体にわたり累積して画面全体の画素数で除算して求める。ここで例として、２種類の閾値を規定する。彩度を分類する閾値のうち、より大きい閾値をＳＡｖＨ、より小さい閾値をＳＡｖＬとする。平均彩度値ＳＡｖと閾値ＳＡｖＨ、ＳＡｖＬを比較して、比較結果に応じて平均彩度値ＳＡｖを、タイプＡ〜Ｃのいずれかに分類する。即ち、
ＳＡｖ＞ＳＡｖＨであれば、彩度が高く色彩が鮮やかなタイプＡ、
ＳＡｖＨ＞ＳＡｖ、ＳＡｖ＞ＳＡｖＬであれば、彩度が中程度であるタイプＢ、
ＳＡｖＬ＞ＳＡｖであれば、彩度が低く色彩に乏しいタイプＣ
の３種に分類する。なお、本例では、彩度ヒストグラムを画面全体にわたり累積して求めているが、彩度ヒストグラムも、輝度ヒストグラムと同様に、必ずしもすべての画素にわたって累積する必要はなく、特徴を得るために必要十分な一部の画素から作成することとしても良い。
【００３６】
なお、本例はＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｂｒｉｇｈｔｎｅｓｓ）色空間を利用して説明するが、利用する表色系はＨＳＶ色空間に限らず、ＹＣｂＣｒ、ＲＧＢなどそのほかの色空間において該当する値を算出して判断してもよい。
【００３７】
輝度情報によるタイプ１〜３の画像特徴と、彩度情報によるタイプＡ〜Ｃの画像特徴は、独立に用いても良いし、組み合わせて用いてもよい。また、輝度情報による画像特徴と彩度情報による画像特徴のうち、どちらか一つの画像特徴のみを利用してもよい。
組み合わせて用いる場合は、輝度情報のタイプによる表記と、彩度情報のタイプによる表記を組み合わせる。組み合わせる場合、前述の例では、非人物画像の特徴を示す種別として１Ａ、２Ａ、３Ａ、１Ｂ、２Ｂ、３Ｂ、１Ｃ、２Ｃ、３Ｃの９通りになる。
【００３８】
人物画像特徴判断部２２は、被写体判定部１１により出力された被写体情報Ｏｂと入力画像信号ＦＡに含まれる輝度情報および彩度情報から、画像の特徴を判断し、特徴情報Ｂｌとしてフィルター作成部３０と画質補正部５０に出力する。人物画像特徴判断部２２による動作は、入力画像ＦＡが被写体判定部１１により人物画像であると判断された場合（被写体情報Ｏｂによりそのような判断結果が示されている場合）に行われる。
【００３９】
画像信号から特徴を抽出するには、例えば特許文献４に示されているように、顔領域の平均輝度と、背景領域の平均輝度の輝度差をもとに画像の特徴を判断する。本例では、被写体情報Ｏｂに含まれる顔情報ＨＦをもとに顔領域の平均輝度と背景領域（顔以外の領域）の平均輝度を算出する。
【００４０】
図３は人物画像特徴判断部２２による動作の概要を説明した図である。人物検出部１０により検出された顔情報ＨＦにより、入力画像ＦＡの中の顔領域が特定される。特定された顔領域の輝度値を、顔領域内のすべての画素にわたって累積して顔領域の画素数で除算することで、顔領域の平均輝度Ｙｐ（ｂ）を求める。同様に特定された背景領域の輝度値を、背景領域内のすべての画素にわたって累積して背景領域の画素数で除算することで、背景領域の平均輝度Ｙｐ（ａ）を求める。なお、本例では顔以外の領域を除いた領域を背景領域としているが、顔領域を含めた画像全体を背景領域としてその平均輝度を求めてもよい。また、本例では、顔領域の平均輝度Ｙｐ（ｂ）と背景領域のＹｐ（ａ）を算出するにあたり、領域内のすべての画素にわたって累積し平均輝度を求めているが、必ずしもすべての画素にわたって累積する必要はなく、平均輝度を得るために必要十分な一部の画素から作成することとしても良い。
【００４１】
被写体情報Ｏｂにより、複数の顔領域が含まれることが示されている場合、複数の顔領域のうちの一つ、例えば、最も大きい顔領域を選択し、選択した顔領域の平均輝度Ｙｐ（ｂ）を求めることとしてもよく、複数の顔領域の平均輝度を算出し、それらの平均値や中間値を算出し、上記の平均輝度の代わりに用いてもよい。要するに、平均値、中間値等の代表値が求められれば良い。背景領域の代表値、例えば平均輝度Ｙｐ（ａ）と、顔領域の代表値、例えば平均輝度Ｙｐ（ｂ）の差（輝度差）ＤｉｆＹｐから、特徴を算出する。
【００４２】
ここで例として、非人物画像特徴判断部２１における処理の場合と同様に、２種類の閾値を規定する。輝度差を分類する閾値のうち、より大きい閾値をＤｉｆＨ、より小さい閾値をＤｉｆＬとする。輝度差ＤｉｆＹｐと閾値ＤｉｆＨ、ＤｉｆＬを比較して、比較結果に応じて輝度差ＤｉｆＹｐをタイプ強、中、小のいずれかに分類する。即ち、
輝度差ＤｉｆＹｐを、
ＤｉｆＹｐ＞ＤｉｆＨであれば、顔領域と背景領域の輝度差が大きく逆光の強い逆光（強）、
ＤｉｆＨ＞ＤｉｆＹｐ、ＤｉｆＹｐ＞ＤｉｆＬであれば、輝度差が中程度である逆光（中）、
ＤｉｆＬ＞ＤｉｆＹｐであれば、彩度が小さく逆光の弱い逆光（小）
の３種類に分類する。さらに顔領域が背景領域に比べて十分に明るい順光の場合を分類の一つに加えてもよい。例えばＤｉｆＹｐが負である（ＤｉｆＹｐ＜０）場合に、順光状態にあると判断すれば良い。
【００４３】
人物画像特徴判断部２２は、前述のように顔領域と背景領域より求められた逆光（強）、逆光（中）、逆光（弱）、順光のような画像特徴の種別を、特徴情報Ｂｌとしてフィルター作成部３０と画質補正部５０に出力する。
なお、本例では、顔領域と背景領域から逆光に関する特徴を抽出したが、逆光の特徴以外にも、コントラストに関する特徴や彩度に関する特徴を利用することとしても良い。
【００４４】
人物画像特徴判断部２２において、彩度に関する特徴を利用する場合には、例えば背景領域に対して、非人物画像特徴判断部２１に関して説明したような彩度情報のヒストグラムや平均彩度値を算出し、特徴を分類することとしても良い。
【００４５】
フィルター作成部３０は、画像特徴判断部２０により出力された特徴情報Ｂｌをもとにしてノイズ低減処理を行うためのフィルターを作成する。フィルターの作成には、フィルター演算で用いる画素、フィルターを掛ける輝度範囲、フィルター係数（フィルターの強度）などのフィルター条件の決定が含まれる。このようにして決定されたフィルター条件を示す情報がフィルター情報（ＮＲ情報）Ｎｆとしてノイズ低減処理部４０に出力される。
【００４６】
図４はフィルター作成部３０の構成例を示したブロック図である。フィルター作成部３０は、領域サイズ決定部３２と、強度決定部３３と、形状決定部３４と、適用範囲決定部３５とを備える。
【００４７】
フィルター作成部３０により作成されノイズ低減フィルターはガウシアンフィルターをもとにして修正乃至精製したものとする。ガウシアンフィルターは、下記の式（１）により規定される。
Ｋｅｒ（ｘ，ｙ）＝１／（２πσ２）×ｅ（−（ｘ２＋ｙ２）／２σ２）  …（１）
式（１）で、
ｘの取り得る範囲は（−（ｍ−１）／２）〜（＋（ｍ−１）／２）、即ち、
（−（ｍ−１）／２）≦ｘ≦（＋（ｍ−１）／２）、
ｙの取り得る範囲は（−（ｎ−１）／２）〜（＋（ｎ−１）／２）、即ち、
（−（ｎ−１）／２）≦ｙ≦（＋（ｎ−１）／２）である。
【００４８】
式（１）はガウシアンフィルターの係数（要素）Ｋｅｒ（ｘ，ｙ）を、注目画素を原点（ｘ＝０、ｙ＝０）とする座標ｘ、ｙにより示す式であり、フィルターのサイズはフィルターの横方向の要素数を示すｍ、縦方向の要素数を示すｎにより決まる。また、フィルターの強度はσにより決定される。以下では、ｍ、ｎを、それぞれフィルターの水平方向、垂直方向のサイズと言い、ｍ×ｎをフィルターを掛ける領域のサイズと言う。
【００４９】
なお、特徴情報Ｂｌにより画像の全体にわたりノイズ低減処理が不要であると判断する構成としてもよい。その場合は、後述の適用範囲決定部３５により、適用範囲を示す情報Ｎｄとして、適用範囲がないこと、即ち画像の全体にわたりノイズ低減処理を行わないことを示す情報を出力する。
この場合にはノイズ低減処理部４０においても、入力画像信号ＦＡに対してノイズ低減処理を行わず、入力画像信号ＦＡをそのままノイズ低減処理後の画像信号ＦＢとして出力する。
【００５０】
領域サイズ決定部３２は、入力された特徴情報Ｂｌによりサイズｍ、ｎを決定する。特徴情報Ｂｌはフィルター作成部３０で保持し、決定したｍとｎの値をＮＲ情報Ｎａとして強度決定部３３に出力する。なお、以下に説明する例ではｍとｎは等しくしているが、等しくなくても良い。
【００５１】
サイズｍ、ｎを特徴情報Ｂｌから決定する例を説明する。
特徴情報Ｂｌが逆光度合いの強い特徴を示すものである場合、
後述する画質補正部５０で行われる画質補正は、逆光部分の輝度を大きく増加させる処理が行われる。画像の輝度を大きく変化させた場合、ノイズ部分の輝度も同様に増加するため、ノイズ低減処理を行わない場合にはノイズによる弊害が目立って表示されてしまう。そこで、このような場合にはより強くより広範囲にフィルターを掛けることでノイズを低減するのが望ましい。
【００５２】
前述の人物画像の特徴情報Ｂｌの例であれば、逆光（強）である場合は、サイズｍ、ｎを大きく設定する。
一方、逆光（中）や逆光（弱）である場合には、サイズｍ、ｎを小さく設定する。
十分なノイズ低減効果を得るためには、ｍとｎはそれぞれ１０以上であることが望ましい。そのため、例えば特徴情報Ｂｌが逆光（中）や逆光（弱）である場合、ｍ＝１０、ｎ＝１０を設定し、逆光（強）である場合、ｍ＝２０、ｎ＝２０を設定する。順光である場合には、サイズｍ、ｎを、ｍ＝５、ｎ＝５のようにさらに小さく設定するか、あるいは画像の全体にわたりノイズ低減処理が不要である構成とする。
【００５３】
前述の非人物画像の特徴情報Ｂｌの例であれば、タイプ４のように順光である画像においては、ノイズの特に目立つ領域は少ない傾向がある。この場合、サイズｍ、ｎを人物画像と同様に、ｍ＝５、ｎ＝５のようにさらに小さく設定するか、あるいは画像の全体にわたりノイズ低減処理が不要である構成とする。
一方、タイプ１のように影になっている部分の光量が不足し、画像内に黒く潰れた領域が存在する場合、黒く潰れた領域を明るくする処理が行われるため、サイズｍ、ｎを大きく設定する。そのため、例えば特徴情報Ｂｌがタイプ１である場合、ｍ＝１５、ｎ＝１５を設定し、タイプ３である場合、ｍ＝１０、ｎ＝１０を設定する。
【００５４】
強度決定部３３は、入力された特徴情報Ｂｌにより式（１）のσを設定することで、フィルターの強度を決定する。
このようにして決定された強度σと、領域サイズ決定部３２で決定された領域のサイズｍ、ｎに基づいてガウシアンフィルターの要素を決定することができる。決定された要素の組はＮＲ情報Ｎｂとして形状決定部３４に供給される。
【００５５】
図５は強度決定部３３による強度調整後のフィルター要素の一例を示す。本例では説明を簡単にするためｍ＝３，ｎ＝３のガウシアンフィルターを例に説明する。図５の例では、ｘ、ｙの取り得る範囲として−１、０、１となり、要素数は９（＝３×３）である。
【００５６】
なお、σの値によって算出される要素Ｋｅｒ（ｘ，ｙ）は小数を含む数値になる。また、ガウシアンフィルターの性質上、Ｋｅｒ（０，０）の値が最も大きくなり、原点を離れるほど値が小さくなるため、正規化し、小数点以下を四捨五入等により整数化して利用する。例えば、隅の要素（隅の画素に対する係数）、例えばＫｅｒ（（ｍ−１）／２，（ｎ−１）／２）×α＝１となる正規化係数αを求め、各要素Ｋｅｒ（ｘ，ｙ）に対して一律にαを乗算して四捨五入する。
【００５７】
σを大きくする場合、Ｋｅｒ（０，０）の値は大きくなり、そのため正規化した場合に隅の要素（隅の画素に対する係数）、例えばＫｅｒ（（ｍ−１）／２，（ｎ−１）／２）の値と、中央の要素（注目画素に対する係数）Ｋｅｒ（０，０）の値の差も大きくなる。正規化すると、Ｋｅｒ（（ｍ−１）／２，（ｎ−１）／２）の重みは極めて小さくなるため、実質的にフィルターのサイズ（ｍ×ｎ）を変えることに近い効果を持つ。
【００５８】
逆にσを小さくする場合は、Ｋｅｒ（０，０）の値は小さくなり、そのため正規化した場合に隅の要素（隅の画素に対する係数）、例えばＫｅｒ（（ｍ−１）／２，（ｎ−１）／２）の値と、中央の要素（注目画素に対する係数）Ｋｅｒ（０，０）の値の差は小さくなる。その結果、ガウシアンフィルターは、すべての要素の値が等しいフィルター（平滑化フィルター）に近い効果を持つことになる。
【００５９】
注目画素の値の重要度を保ちつつ、フィルターを効果的に利用するためには、σは５．０〜１０．０程度が望ましく、さらに言えば７．０〜８．０の範囲が適当である。
【００６０】
図６（ａ）及び（ｂ）はサイズ（ｍ×ｎ）及び強度σと、各位置のフィルター要素との関係を示す。
図６（ａ）は、サイズが３×３の場合と、５×５の場合を重ねて示す。
図６（ｂ）は、縦軸にフィルター要素Ｋｅｒ（ｘ,０）の値を示す。即ち、ｙ＝０における、横軸上の位置ｘと要素Ｋｅｒの関係を示す。
ｘの取る範囲は、ｘ＝−（ｍ−１）／２からｘ＝（ｍ−１）／２までである。
ｍ＝３、ｎ＝３の場合（図中Ｋａ）を基準として、ｍの大きさを増加させ、ｍ＝５、ｎ＝５とした場合は、図６（ｂ）において、符号Ｋｂで示すように、幅が広がった形のフィルターとなる。また、σを増加させた場合は、図６（ｂ）において符号Ｋｃで示すように、各要素の値が大きくなる。
【００６１】
形状決定部３４は、入力された特徴情報Ｂｌを利用して強度決定部３３により出力されたフィルター要素の値を変更乃至修正し、これにより、実質的にフィルターを適用する領域の形状を変更した後、変更後のフィルターを示す情報をＮＲ情報Ｎｃとして適用範囲決定部３５に出力する。
【００６２】
図７（ａ）〜（ｆ）は形状決定部３４によるフィルターの要素の値を変更する例について説明した図である。図７（ａ）〜（ｆ）に示した６種類の形状（ヨコ型、タテ型、プラス型、バツ型、アスタリスク型、ボックス型）により説明する。図中の各型は、５×５のマスで示されており、１つのマスがフィルターの１要素に相当する。すなわち、各型はｍ＝５、ｎ＝５とした場合のフィルターを表している。図中ハッチングが施されているマスは、要素が有効であるマスを示している。強度決定部３３より出力されるＮＲ情報Ｎｃは、図７（ｆ）に示すボックス型の形に対応している。
【００６３】
形状決定部３４は、入力された特徴情報Ｂｌをもとにしてフィルターの要素の一部を無効化する。ここで無効化とは要素をゼロで置き換えることを意味する。例えば、ｍ＝５、ｎ＝５のヨコ型の例で言えば、Ｋｅｒ（−２，０）、Ｋｅｒ（−１，０）、Ｋｅｒ（０，０）、Ｋｅｒ（１，０）、Ｋｅｒ（２，０）の要素以外の値を、すべて無効として、０とする。このようにフィルターの一部を無効化すると、ノイズ低減効果は低下するが、演算量が削減され、処理速度が向上する。
【００６４】
図８は、各形状において要素の一部を無効化した場合に削減できる演算量を、フィルターのサイズ（ｍ×ｎ）と合わせて比較したものである。「画素あたりの演算数」は、１画素に対して参照される要素の数であり、「演算量の割合［％］」は、形状決定部３４により処理が行われる前のフィルターの形状であるボックス型をもとに、削減後の画素あたりの演算数の割合（削減前の演算量に対する削減後の演算量の比）である。
【００６５】
図８の例では、例えば、ｍ＝１５、ｎ＝１５である場合には、アスタリスク型では約２５％、バツ型あるいはプラス型では約１３％の演算量で処理をすることができる。さらに、ｍ＝１９、ｎ＝１９である場合には、アスタリスク型では約２０％、バツ型あるいはプラス型では約１０％の演算量で処理をすることができる。このように、演算量の削減効果は、型が同じであれば、フィルターのサイズが大きくなるほど顕著になる。
【００６６】
ノイズ低減の効果は、フィルターのサイズ（ｍ×ｎ）が大きくなるほど強くなる。しかしながら、フィルターの形状がボックス型であると演算量がサイズの二乗に比例して増加する。
形状決定部３４を設ければ、フィルターのサイズ（ｍ×ｎ）を大きくすることによって得られるノイズ低減効果をある程度保ったまま、演算量を効果的に削減することができる。サイズ（ｍ×ｎ）を必要以上に小さく設定するより、このように要素の一部を無効化する方法をとる手法の方が、ノイズ低減効果を得られやすい。
【００６７】
しかしながら、ヨコ型、タテ型のように一方向の要素のみを残した場合、他方向に延在するノイズの低減効果が不十分である。つまり、ヨコ型を利用した場合には、縦方向に延びたノイズに弱く、逆にタテ型を利用した場合には、横方向に延びたノイズに弱いという特性がある。そのため、十分なノイズ低減効果を得るためには、プラス型、バツ型、アスタリスク型を利用するのが望ましく、可能であれば、アスタリスク型を利用するのがよい。
【００６８】
さらには削減割合が同じであるプラス型とバツ型を比較した場合にも、バツ型のように斜め方向の要素を残した方が効果的である。これは、Ｋｅｒ（ｘ，ｙ）に対応する画素のうちの、原点（０，０）からもっとも遠くに位置する画素までの距離が、プラス型は、ｍ（あるいはｎ）であるのに対して、バツ型は√（ｍ２＋ｎ２）となり、バツ型の方が大きくなるためである。
【００６９】
演算量をさらに削減する目的で、図９（ａ）、（ｂ）のように、フィルターの一部をさらに無効化してもよい。図９（ａ）の例では、バツ型においてＫｅｒ（−１，−１）、Ｋｅｒ（＋１，−１）、Ｋｅｒ（−１，＋１）、Ｋｅｒ（＋１，＋１）の要素をさらに無効化し、図９（ｂ）の例では、アスタリスク型においてＫｅｒ（０，−１）、Ｋｅｒ（＋１，０）、Ｋｅｒ（−１，０）、Ｋｅｒ（０，＋１）の要素をさらに無効化している。なお、このような形で型の一部の要素をさらに削減する場合、原点（０，０）からより遠い画素に対応する要素を無効化するほうが、原点付近の要素を無効化するより望ましい。これは、原点からより遠い画素の要素の値は、原点付近の要素と比べ小さいためである。このような処理を行った場合、ノイズ低減の効果は低減されるが、演算量は削減されるため、処理時間を短縮することができる。
【００７０】
形状を特徴情報Ｂｌに基づいて決定する方法の例を説明する。
例えば、より強くノイズを低減すべき場合には、ボックス型を利用して精度の高い演算を行い、それほど強くノイズを低減する必要のない場合には、アスタリスク型等を利用して効率的に演算を行うのがよい。そのため人物画像の特徴情報Ｂｌが逆光度合いの強い特徴（例えば人物画像の逆光（強））であった場合にはボックス型を利用し、逆光度合いの弱い特徴（例えば人物画像の逆光（中）や逆光（弱））であった場合にはアスタリスク型を利用するという方法を取ることができる。
【００７１】
適用範囲決定部３５は、入力された特徴情報Ｂｌを利用して形状決定部３４により出力されたフィルターを適用する画素値範囲を決定し、決定した画素値範囲を示す情報を、ＮＲ情報Ｎｄとして出力する。
ＮＲ情報Ｎｄは、形状決定部３４により出力されたフィルターの各要素を示すＮＲ情報Ｎｃとともに組合せられ、ＮＲ情報Ｎｆとして、フィルター作成部３０から、ノイズ低減処理部４０に供給される。
【００７２】
適用範囲決定部３５は、通常画像中のすべての画素に適用されるノイズ低減フィルターを、画素値によってはフィルターを適用しない（適用する画素値範囲を制限する）こととするためのものである。そのために、入力信号で表される画像の各画素についてフィルター適用の要否乃至適否を判定し、判定結果をＮＲ情報Ｎｄとして出力する。
【００７３】
適用範囲決定部３５は、フィルターを適用する画素値範囲を限定するに当たり、輝度範囲を限定しても良く、色情報に関する範囲を限定しても良く、両者をともに限定しても良い。また、画素値範囲を、特徴情報Ｂｌのうちの輝度に関する情報に基づいて決定することとしても良く、色情報に基づいて限定しても良く、両者の組合せに基づいて決定しても良い。
以下、特徴情報Ｂｌのうちの輝度に関する情報に基づいて、適用する輝度範囲を決定する場合について説明する。
例えば、適用輝度範囲の上限値ＦＹＨ、下限値をＦＹＬとする。ノイズ低減処理部４０において画素毎にフィルターの適用の要否を切替えるべく、上限値ＦＹＨ、下限値ＦＹＬを決定し、各画素の持つ輝度値が、上限値ＦＹＨと下限値ＦＹＬの間であった場合のみフィルターリング（フィルター要素を用いた重み付け和の算出）を実行する。
【００７４】
なお、上記のように上限値ＦＹＨと下限値ＦＹＬの２種類の閾値のみを用いるのではなく、３種類以上の閾値を用いることで、フィルターの適用の要否だけではなく、フィルターの種類を切替える構成にすることもできる。例えば、３種類の閾値ＦＹ１、ＦＹ２、ＦＹ３（ここでＦＹ１＞ＦＹ２＞ＦＹ３とする）を設定し、各画素の持つ輝度値が、ＦＹ１とＦＹ３の間である場合のみフィルターリングを実行するが、ＦＹ１とＦＹ２の間である場合は一つのフィルタ（フィルターＡ）を、ＦＹ２とＦＹ３の間である場合には他のフィルター（フィルターＢ）を適用する構成にすることもできる。
【００７５】
適用範囲決定部３５によりフィルターを適用する画素値範囲を、非人物画像の特徴情報Ｂｌをもとに決定する例を説明する。
非人物画像の特徴情報Ｂｌにあたるタイプ１〜４は、それぞれの画像の持つ輝度特徴が異なっており、その輝度特徴から画質補正が中心的に行われる領域が特定される。図２（ａ）に示されるタイプ１については、影になっている部分の光量が不足し、画像内に黒く潰れた領域が存在するという特徴があるため、画像内の黒く潰れた領域を中心として画質が補正される。図２（ｂ）に示されるタイプ２は、光が当たった部分の光量が強過ぎて、画像内に白く飛んだ領域が存在するという特徴があるため、画像内の白く飛んだ領域を中心として画質が補正される。図２（ｃ）に示されるタイプ３は、階調差が不十分であるため、低輝度と高輝度のそれぞれの部分が中心的に補正され、中間輝度の補正はそれほど強く行われない。
【００７６】
特徴情報Ｂｌの内容により、このように補正が行われるべき輝度領域と、補正をする必要の少ない輝度領域が区別できる。適用範囲決定部３５によりフィルターを適用する範囲を決定するにあたり、補正が行われるべき輝度領域が含まれるように上限値ＦＹＨと下限値ＦＹＬを決定する。
【００７７】
具体的には図２（ａ）に示されるタイプ１であれば図１０のように、上限値ＦＹＨと下限値ＦＹＬを決定し、図２（ｂ）に示されるタイプ２であれば図１１のように上限値ＦＹＨと下限値ＦＹＬを決定し、図２（ｃ）に示されるタイプ３であれば図１２のように上限値ＦＹＨと下限値ＦＹＬを決定すればよい。上限値ＦＹＨと下限値ＦＹＬは、複数の範囲にわたり設定してもよく、例えば、図２（ｃ）に示されるタイプ３であれば、タイプ１において設定した上限値ＦＹＨ１と下限値ＦＹＬ１、タイプ２において設定した上限値ＦＹＨ２と下限値ＦＹＬ２の両方を設定することができる。また、各タイプに設定される上限値ＦＹＨと下限値ＦＹＬは、その領域が重複していても良い。タイプ２の例であれば、タイプ２の下限値ＦＹＬ２を、タイプ１の上限値ＦＹＨ１と下限値ＦＹＬ１の間に位置するように設定することもできる。また、タイプ３の例であれば、上限値ＦＹＨ１と下限値ＦＹＬ１および、上限値ＦＹＨ２と下限値ＦＹＬ２の両方を設定しても良いが、両方を設定する代わりに、上限値ＦＹＨ１と下限値ＦＹＬ２を設定せず、上限値ＦＹＨ２と下限値ＦＹＬ１のみを設定して上限値ＦＹＨ２から下限値ＦＹＬ１までを適用範囲とすることもできる。ただし、このように範囲を大きく設定する場合には、演算量を低減する効果は低下する。
このように設定することで、階調差も明るさも十分である輝度の領域に対するノイズ低減処理を省くことができる。
【００７８】
上記のように、適用する画素値範囲を制限することで、フィルター演算を行う画素が少なくなり、演算量を低減することができる。また、フィルターを適用しない範囲において、ノイズとともに失われる画像の構成要素を減らすことができる。
【００７９】
上記の例では、輝度情報に基づいて輝度値範囲を限定しているが、上記のように、適用範囲決定部３５は、各画素の画素値として、輝度に関する情報に基づいて、フィルターを適用する画素値範囲の決定に用いられる各画素の画素値の種類と、画素値範囲のおける画素値の種類は同じでなくてよく、例えば、輝度情報に基づいて、色情報に関する範囲を限定しても良く、輝度情報に基づいて、輝度値範囲及び色情報に関する範囲をともに限定しても良い。さらに、色情報に基づいて、輝度値範囲を限定しても良く、色情報に基づいて、輝度値範囲及び色情報に関する範囲をともに限定しても良い。さらに、輝度情報及び色情報の組合せに基づいて、輝度値範囲のみを限定しても良く、色情報に関する範囲のみを限定しても良く、輝度値範囲及び色情報に関する範囲をともに限定しても良い。
【００８０】
以下、簡単のためＹＣｂＣｒ色空間の情報が得られる場合についてより具体的に説明する。輝度情報Ｙをもとにして、上限値ＦＹＨと下限値ＦＹＬの間の輝度値を持つ画素に対してフィルターを適用する場合に、フィルターを輝度情報Ｙに適用するだけでなく、色差情報Ｃｂ、Ｃｒにも適用することもできるし、輝度情報Ｙにのみ適用することもできるし、色差情報Ｃｂ、Ｃｒにのみ適用することもできる。
【００８１】
特に輝度情報の変化は、色差情報の変化よりも観察者に知覚されやすいという性質がある。そのためノイズによっては、色差情報Ｃｂ、Ｃｒにのみ適用するという方法を取ることで、観察者に知覚されにくい色情報に関するノイズ低減処理を行うことができる。
【００８２】
同様に色差情報Ｃｂ、Ｃｒをもとにして、フィルターを適用する範囲を決定し、輝度情報にのみフィルターを適用することもできる。しかしながら、本例では、特徴情報Ｂｌは輝度値により算出しており、その場合、特徴情報Ｂｌに基づく適用範囲限定による効果を十分に得るためには、限定される適用範囲に輝度値範囲を含めるべきである。同様の理由により、特徴情報Ｂｌを彩度情報により求める場合、彩度値に関してフィルターを適用する範囲を限定するのが望ましい。
【００８３】
以上のようにして、適用範囲決定部３５により決定された適用範囲を示す情報Ｎｄは、形状決定部３４から出力されるフィルター要素を示す情報Ｎｃと組合せられて、ＮＲ情報Ｎｆとしてフィルター作成部３０からノイズ低減処理部４０に供給される。
【００８４】
ノイズ低減処理部４０は、フィルター作成部３０から供給されるＮＲ情報Ｎｆに基づいてノイズ低減処理を行う。具体的には、適用範囲決定部３５により決定された画素値範囲内の画素値を持つ画素に対して、形状決定部３４から出力されるフィルターの各要素を用いて重み付け加算を行うことで、ノイズ低減処理後の画像ＦＢを得る。
【００８５】
図１３は、ノイズ低減処理部４０において行われるノイズ低減処理について説明する図である。入力信号で表される画像を構成する画素の各々に対し適用範囲決定部３５により規定された範囲であるか否かを判断し、範囲であればフィルターを適用する。
【００８６】
処理が行われる画素を注目画素ＦＡ（ｐ，ｑ）として説明する。注目画素ＦＡ（ｐ，ｑ）が適用範囲外の画素値を有するものであれば、ＦＡ（ｐ，ｑ）の値は変更せず、そのままＦＢ（ｐ,ｑ）として出力する。一方、注目画素ＦＡ（ｐ，ｑ）が適用範囲内の画素値を有するものであれば、注目画素ＦＡ（ｐ，ｑ）にフィルターの原点Ｋｅｒ（０，０）が重なるようにフィルターを適用し、新しい画素値ＦＢ（ｐ，ｑ）を算出する。新しい画素値ＦＢ（ｐ，ｑ）は、ｍ＝３、ｎ＝３のフィルターであれば、
ＦＢ（ｐ，ｑ）
＝｛Ｋｅｒ（−１，−１）×ＦＡ（ｐ−１，ｑ−１）
＋Ｋｅｒ（−１，０）×ＦＡ（ｐ−１，ｑ）
＋Ｋｅｒ（−１，＋１）×ＦＡ（ｐ−１，ｑ＋１）
＋Ｋｅｒ（０，−１）×ＦＡ（ｐ，ｑ−１）
＋Ｋｅｒ（０，０）×ＦＡ（ｐ，ｑ）
＋Ｋｅｒ（０，＋１）×ＦＡ（ｐ，ｑ＋１）
＋Ｋｅｒ（＋１，−１）×ＦＡ（ｐ＋１，ｑ−１）
＋Ｋｅｒ（＋１，０）  ×ＦＡ（ｐ＋１，ｑ）
＋Ｋｅｒ（＋１，＋１）×ＦＡ（ｐ＋１，ｑ＋１）｝／Ｋｔ  …（２）
で得られる。即ち、対応するフィルターの要素の値と、対応する画素の画素値を掛け合わせて加算したものになる。なお、式（２）のＫｔは、フィルターの要素の合計値である。Ｋｔを算出するに当たり、フィルター作成部３０により無効化された要素は省いて（あるいは０として）算出する。無効化された要素に関する演算は省略することができる。
【００８７】
ノイズ低減処理部４０は入力画像のＰ×Ｑ個の画素の各々に対して、新しい画素値ＦＢ（ｐ，ｑ）を算出し、ノイズ低減後信号ＦＢとして、画質補正部５０に出力する。
【００８８】
なお、入力信号で表される画像を構成する画素数Ｐ×Ｑが過度に多い場合には、ノイズ低減処理部４０による処理や画質補正部５０による処理の演算時間も増大し、画像処理装置２から出力される出力信号ＦＣを得るまでに時間が掛かりすぎてしまうこともある。このような場合は、フィルター作成部３０の強度調整部３３においてフィルター要素を算出するにあたり、従来の特徴情報Ｂｌ以外に、入力信号の画素数Ｐ×Ｑを利用して算出してもよい。例えば画素数Ｐ×Ｑが多いほど、フィルターの要素Ｋｅｒが少なくなるようにすることとしても良い。この場合には、図１４に示すように、入力画像信号ＦＡ又はこれに付随する情報に基づいて入力画像のサイズ（画素数）Ｐ、Ｑを判定する画像サイズ判定部６０を付加し、該画像サイズ判定部６０による判定の結果得られる画像サイズ情報Ｐ、Ｑをフィルター作成部３０に入力し、フィルター作成部３０では、特徴情報Ｂｌのみならず、画像サイズＰ、Ｑに基づいて、フィルター演算で用いる画素、フィルターを掛ける輝度範囲、フィルター係数（フィルターの強度）などのフィルター条件を決定する。
【００８９】
画質補正部５０は、ノイズ低減処理部４０により出力されたノイズ低減処理の行われた画像信号ＦＢに対して画質補正を行う。画質補正は、画像特徴判断部２０により判断された特徴情報Ｂｌをもとにして補正量を決定して画質補正を行う。フィルター作成部３０と、画質補正部５０が同じ特徴情報Ｂｌをもとにして補正を行う。画質補正部５０によって行われる画質補正の内容は、既存の技術を利用することができる。
【００９０】
特徴情報Ｂｌにより補正量を調整する方法を、非人物画像の特徴情報Ｂｌで利用したタイプ１〜４の例を利用して図２（ａ）〜（ｄ）を参照して説明する。
図２（ａ）に示されるタイプ１は、影になっている部分の光量が不足し、画像内に黒く潰れた領域が存在するため、影になっている部分の光量を増加させるように補正を行う。そこで、逆光に対する補正量を強く設定し、コントラストに関する補正量を、黒く潰れた領域を増加させるべく強めに設定する。
図２（ｂ）に示されるタイプ２は、光が当たった部分の光量が強過ぎて、画像内に白く飛んだ領域が存在するため、白く飛んでいる部分のコントラストを増加させるように補正を行う。そこで、逆光に対する補正量は弱く設定し、コントラストに関する補正量を、白く飛んだ領域の画質を改善すべく強めに設定する。
図２（ｃ）に示されるタイプ３は、タイプ１とタイプ２を合わせた特徴を持っているため、補正量もタイプ１とタイプ２の中間程度の値として、逆光に対する補正量を中程度に設定し、コントラストに関する補正量を、中間階調の領域を増加させるべく強めに設定する。
図２（ｄ）に示されるタイプ４は、順光画像であり、逆光もなくコントラストも良好であるため、逆光に対する補正量も、コントラストに関する補正量も弱く設定する。
【００９１】
コントラスト補正などの補正によりノイズそのものが強調されてしまうことを防ぐため、ノイズ低減は、本実施の形態のように画像補正の前に行うことが望ましい。しかしながら、本実施の形態１の図１とは構成内容の配置が異なるが、一度の処理ではノイズの低減が十分ではない場合もあり、画像補正の前と後で処理を行うなど複数回処理してもよいし、画像補正によってノイズに影響を与え、ノイズそのものが強調されないような場合には、後でのみ処理を行ってもよい。
【００９２】
なお、画質補正部５０においても、画像特徴Ｂｌのみならず、入力画像のサイズＰ、Ｑに応じて、補正量を決めることとしても良い。この場合には、図１４に点線で示すように、画像サイズ判定部６０から出力される画像サイズ情報Ｐ、Ｑを画質補正部５０にも供給する。
【００９３】
画像処理装置２は、入力部１より入力された入力画像信号ＦＡから特徴を抽出し、抽出された特徴をもとにして、ノイズ低減処理と、画質補正処理を行った後、出力信号ＦＣとしてプリント部３に出力する。
【００９４】
本実施の形態１の画像処理装置２によれば、デジタルカメラの素子の特性などの撮影機器や撮影環境に関する情報を必要とすることなく、画像毎に算出した特徴情報Ｂｌにより、特徴に適した効率的なノイズ低減処理を行うことができる。
【００９５】
図１５（ａ）〜（ｃ）は画像処理装置２によるノイズ低減の効果について、その特徴を示したものである。図１５（ａ）〜（ｃ）は、人物画像の首の部分を拡大した出力結果であり、入力画像信号ＦＡで表される画像(入力画像)ＦＡ（図１５（ａ））と、ノイズ低減処理を行わずに画質補正処理を行った画像ＦＢ（図１５（ｂ））と、ノイズ低減処理と画質補正処理をともに行った画像ＦＣ（図１５（ｃ））を比較した図である。形状はアスタリスク型を利用することで演算量を減らし、画像ＦＢを得る場合に比べ画像ＦＣを得る場合には演算量は若干増加するのみで、１．１〜１．２倍程度の時間で処理を行うことができる。
【００９６】
入力画像ＦＡは全体的に暗くなっているが、画質補正を行うことで画像ＦＢのように全体の明るさは改善される。しかしながら、入力画像ＦＡでは目立たなかった粒状のノイズ部分も明るくなってしまい画像ＦＢにはムラとなって現れている。本手法によりノイズを低減することで、画像ＦＣのように明るさ感も改善され、ノイズが低減された出力結果を得ることができる。
【００９７】
プリント部３は、画像処理装置２より出力された出力信号で表される画像ＦＣを印刷する。プリント部３は、プリンターを含み、画像処理装置２により出力された画像ＦＣを印刷する。なお、プリント部３の代わりにディスプレイモニターなどの表示装置を画像処理装置２に接続し、表示して出力する構成とすることもできる。
【００９８】
以上本発明を画像処理装置として説明したが、画像処理装置の各部における処理を実施するステップを含む画像処理方法もまた本発明の一部をなす。また、該処理をコンピュータで実行させるためのプログラム、並びに該プログラムを記憶したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
【符号の説明】
【００９９】
１  入力部、  ２  画像処理装置、  ３  プリント部、  １０  人物検出部、  １１  被写体判定部、  ２０  画像特徴判断部、  ２１  非人物画像特徴判断部、  ２２  人物画像特徴判断部、  ３０  フィルター作成部、  ３２  領域サイズ決定部、  ３３  強度決定部、  ３４  形状決定部、  ３５  適用範囲決定部、  ４０  ノイズ低減処理部、５０  画質補正部。
【図１】
0005822739.tif 000002
【図２】
0005822739.tif 000003
【図３】
0005822739.tif 000004
【図４】
0005822739.tif 000005
【図５】
0005822739.tif 000006
【図６】
0005822739.tif 000007
【図７】
0005822739.tif 000008
【図８】
0005822739.tif 000009
【図９】
0005822739.tif 000010
【図１０】
0005822739.tif 000011
【図１１】
0005822739.tif 000012
【図１２】
0005822739.tif 000013
【図１３】
0005822739.tif 000014
【図１４】
0005822739.tif 000015
【図１５】
0005822739.tif 000016