(57)【要約】【課題】画像に含まれる明るさが飽和した画素を含む部分を選択的に補正して自然な印象を与える画像を生成可能な画像処理装置を提供する。【解決手段】画像における色の分布を解析し、色が類似している画素からなる領域ごとにその領域に属する画素の色の分布範囲を決定する解析手段と、明るさが飽和している飽和画素と飽和画素に近接する画素であって飽和画素が含まれる領域に対応する色の分布範囲に含まれない色を持つ画素とを補正対象として検出する検出手段と、検出された補正対象の画素の色を、対応する領域の色の分布範囲に含まれる色を用いて補正する補正手段とを備える。【選択図】      図１
2010199866.tif 000002
【特許請求の範囲】
【請求項１】
画像における色の分布を解析し、色が類似している画素からなる領域ごとにその領域に属する画素の色の分布範囲を決定する解析手段と、
明るさが飽和している飽和画素と前記飽和画素に近接する画素であって前記飽和画素が含まれる領域に対応する色の分布範囲に含まれない色を持つ画素とを補正対象として検出する検出手段と、
検出された補正対象の画素の色を、対応する領域の色の分布範囲に含まれる色を用いて補正する補正手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記解析手段は、
前記画像から人物の顔を表す部分を検出する顔検出手段と、
検出された顔を表す部分に含まれる各画素の色の色空間における分布を解析し、前記人物の肌の色が前記色空間において分布する範囲を特定する分布解析手段とを備える
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記分布解析手段は、前記顔を表す部分に含まれる各画素の色について、色差平面における分布と明るさ方向の分布とをそれぞれ解析する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記補正手段は、
前記検出された補正対象の画素の色を前記対応する領域の色の分布範囲に含まれる色から選ばれた置換色で置き換える置換手段と、
前記置き換え処理された画素の色を前記補正対象の画素が分布している範囲の外側に近接する画素であって、前記色の分布範囲内の色を持つ画素の色に基づいて調整する調整手段とを備えた
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
人物を含む様々な被写体をデジタルカメラなどで撮影した撮影画像によって、鮮明な輪郭でしかも色合いを忠実に再現するために、撮像素子にできるだけ明るい被写体の像を結像させるような撮影条件が設定される。
【０００３】
特に、人物の肌は、明るく照明されている状態での見え方が好まれるので、ポスターや商品カタログ、グラビアなどの撮影では、モデルとなる人物の顔を特に明るく照明する場合が多い。
【０００４】
そして、このように明るく照明された人物の顔の像が結像される撮像素子の範囲に含まれる各画素の出力が飽和しないながらもできるだけ明るく撮影するためには、露出時間などの撮影条件を綿密に調整する必要がある。
【０００５】
一方、フラッシュを用いた撮影のための技術として、本撮影前のプレ発光で画素出力の飽和が発生する可能性を検出したときに、フラッシュの光量を抑えて本撮影を行い、撮影画像全体あるいは一部について、輝度あるいは階調を調整することで被写体の像を明るくする技術が提案されている(特許文献１参照)。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述した特許文献１の技術では、被写体が明るく照明されている場合などには、フラッシュの光量が抑えられるので、本撮影の際に、被写体は必ずしも最適な明るさで照明されていない。このため、最適な撮影条件で取得された撮影画像に近づけようとしても限界がある。また、この技術は、フラッシュを用いない撮影には適用することができない。
【０００７】
一方、照明の光量や露出時間などを厳密に調整した場合でも、パールやラメを含んだ化粧品や肌表面に浮いた汗などからの反射で、被写体の顔の部分を捉えた撮影画像の一部分の明るさが局所的に飽和していわゆる「白とび」が発生し、人物の頬のようになだらかな階調および色調の変化が見られるべきところに白い輝点が現れてしまう場合がある。
【０００８】
ポスターやカタログなどでは顔の部分を大きく引き伸ばす場合も多く、また、顔の部分については、特に、上述した輝点のような些細な違いが大きな違和感を覚えさせてしまう場合が多い。
【０００９】
このため、従来は、人の肌部分について異常に明るい部分を見つけ出し、見つけた部分を一つ一つ手作業で修正していた。このような作業は非常に煩雑であるので、例えば、撮影画像の中で人の顔の部分において明るさが飽和した画素を検出して自動的に補正する技術が望まれている。
【００１０】
しかしながら、画素欠陥の補正などに一般的に適用されているノイズ除去処理を、画像全体を対象として行ったのでは、飽和している部分の補正のために、補正が必要でない部分の色合いや画像の鮮明さを損なってしまう場合もある。
【００１１】
本発明は、画像に含まれる明るさが飽和した画素を含む部分を選択的に補正して自然な印象を与える画像を生成可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した目的は、以下に開示する画像処理装置によって達成することができる。
【００１３】
一つの観点による画像処理装置は、画像における色の分布を解析し、色が類似している画素からなる領域ごとにその領域に属する画素の色の分布範囲を決定する解析手段と、明るさが飽和している飽和画素と飽和画素に近接する画素であって飽和画素が含まれる領域に対応する色の分布範囲に含まれない色を持つ画素とを補正対象として検出する検出手段と、検出された補正対象の画素の色を、対応する領域の色の分布範囲に含まれる色を用いて補正する補正手段とを備える。
【発明の効果】
【００１４】
上述した構成を備えた画像処理装置によれば、自然な印象を与える画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置の一実施形態を示す図である。
【図２】輝点補正動作を表す流れ図である。
【図３】代表色および近似色の範囲の決定を説明する図である。
【図４】輝点領域を決定する動作を表す流れ図である。
【図５】輝点領域の補正処理を説明する図である。
【図６】画像処理部の別実施形態を示す図である。
【図７】輝点領域の補正処理を説明する図である。
【発明を実施するための形態】
【００１６】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、画像処理装置の一実施形態、ここでは画像処理装置の例として電子カメラを示す。
【００１７】
図１に示した電子カメラの撮影光学系１１によって撮像素子１２の光電変換面上に結像された被写体像を表す画像信号は、アナログ信号処理部１３によって撮影感度に対応するゲイン調整などを施された上で、アナログ／デジタル(Ａ／Ｄ)変換部１５によって、デジタルデータに変換される。撮像素子１２の各画素に対応するデジタルデータからなる画像データは、画像処理部１６により、後述する画像処理が施された後に、メモリ１７を介して圧縮／伸長部１８に渡され、ＪＰＥＧ形式などに従って圧縮された後に、記録インタフェース(Ｉ／Ｆ)２０を介してメモリカードなどの記憶媒体(図示せず)に記録される。
【００１８】
図１に示したシステム制御部１９は、操作部２２を介して利用者が入力した指示に従って、撮影駆動部１４を介して撮影光学系１１および撮像素子１２の動作を制御する。また、システム制御部１９は、アナログ信号処理部１３、画像処理部１６、圧縮／伸長部１８および記録インタフェース２０に必要な設定情報を渡すとともに、これらの各部およびメモリ１７に格納された画像データを画像モニタ２１に表示する動作を制御する。
【００１９】
上述した撮像素子１２の各画素に対応するデジタルデータは、画像処理部１６に備えられた補間処理部３１による補間処理により、各画素の色および明るさをＲＧＢデータで表した画像データに変換され、色解析処理部３２および輝点領域検出部３４に渡される。
【００２０】
色解析処理部３２は、後述するようにして、画像データに含まれる各画素の色の解析を行って、画像データに含まれる各画素を色の類似性に基づいて少なくとも一つの領域に分類し、各領域に含まれる画素の色を代表する代表色およびこの領域内の画素の大部分が含まれる色の範囲を特定して、領域色情報保持部３３に保持する。
【００２１】
輝点領域検出部３４は、補間処理後の画像データから、ＲＧＢ値が所定の閾値以上である飽和画素とその周囲の異常な色を持つ画素からなる輝点領域を検出し、輝点補正部３５による補正処理に供する。
【００２２】
以下、画像処理部１６に備えられた各部によって撮影画像に現れた輝点を補正する動作を詳細に説明する。
【００２３】
図２に、輝点補正動作を表す流れ図を示す。
【００２４】
色解析処理部３２は、まず、補間処理部３１からＲＧＢ表色系によって色が表された画像データを受け取り、この画像データを、例えば、Ｌ＊ａ＊ｂ＊表色系における色度値を示す色度座標によって色を表す画像データに変換する(ステップＳ１)。
【００２５】
色解析処理部３２は、ステップＳ１で得られた各画素に対応する色度座標を色度平面にマッピングし(ステップＳ２)、例えば、判別分析などの手法を用いて、色に基づいてグループ化する (ステップＳ３)。
【００２６】
図３に示す例では、画像データは、色度平面の中央付近の比較的広い範囲に分布しているグループ１と、やや原点よりの狭い範囲に分布しているグループ２とに分類される。
【００２７】
次いで、色解析処理部３２は、それぞれのグループについて、代表色を示す色度座標と色の範囲を示す色度座標値の範囲とを特定する(ステップＳ４)。例えば、色解析処理部３２は、それぞれのグループに属する画素の色度値のうち、色度平面において所定の割合(例えば、７０％)の画素が属する範囲(図３(ａ)において破線で囲んで示す)を、対応する領域の色の範囲として特定することができる。また、この範囲に含まれる色度座標の値ａ＊，ｂ＊の上限と下限との平均値として、代表色の色度座標(ａｒ１＊，ｂｒ１＊)を求めることができる。また、上述したようにして特定された領域の色の範囲内にマッピングされた各画素の明るさについてのヒストグラムを作成し(図３(ｂ)参照)、このヒストグラムに基づいて、代表色の明るさおよび明るさ成分について領域の色の範囲を特定することができる。例えば、ピーク位置の明るさを代表色の明るさＬｒ１＊とし、また、上述した色の範囲内にマッピングされた画素のうち所定の割合(例えば、７０％)の画素が属する明るさの範囲(図３(ｂ)において矢印示す)を、グループ１に対応する領域の色の明るさ成分の範囲として特定することができる。
【００２８】
このようにして各領域について特定された代表色および色の範囲は、領域色情報保持部３３に保持され、輝点領域検出部３４および輝点補正部３５の処理に供される。
【００２９】
輝点領域検出部３４は、まず、補間処理部３１から渡された画像データから所定の閾値以上の明るさを持つ飽和画素を検出し(図２のステップＳ５)、検出した飽和画素それぞれについて、飽和画素が影響を及ぼしたために本来の色を逸脱している範囲を特定し、飽和画素とこれに対応して特定された範囲とを含む輝点領域を特定する(ステップＳ６)。
【００３０】
図４に、輝点領域を検出する動作を表す流れ図を示す。
【００３１】
輝点領域検出部３４は、検出した飽和画素(例えば、図５(ａ)において二重枠で示した画素)の周囲の画素の画像データを取得し(ステップＳ１１)、飽和画素が含まれているか否かを判定する(図４のステップＳ１２)。
【００３２】
図５に示したように、二重枠で示した飽和画素に飽和画素が隣接している場合に、輝点領域検出部３４は、最初に検出された飽和画素の周囲に位置する飽和画素(例えば、右側に隣接する画素)を輝点領域に連結する(ステップＳ１３)。その後、新たに検出された飽和画素の周囲にまだ飽和画素であるか否かを判定されていない未判定の画素がある場合に(ステップＳ１４の肯定判定)、輝点領域検出部３４は、ステップＳ１１に戻って新たに輝点領域の周囲に組み込まれた画素の画像データを取得し、飽和画素が含まれているか否かを判定する。
【００３３】
このようにしてステップＳ１１からステップＳ１４を繰り返し、ステップＳ１１で取得した周囲の画素の全てが飽和画素でなかった場合に(ステップＳ１２の否定判定)、輝点領域検出部３４は、ステップＳ１５に進み、飽和画素が連続した部分(図５において、太い一点鎖線で囲んで示す)の外側について、撮影画像においてこの部分が含まれる領域に対応して特定された色の範囲を逸脱して入る画素を検出する。
【００３４】
輝点領域検出部３４は、上述したステップＳ１１からステップＳ１４で検出された飽和画素が連続した部分の周囲に位置する画素の色をＬ＊ａ＊ｂ＊表色系などの均等色空間で表した色度値を、上述した色解析処理部３２から受け取り(ステップＳ１５)、領域色情報保持部３３に保持された情報に基づいて、これらの画素の色が対応する領域の色の範囲内に収まっているか否かを判定する(ステップＳ１６)。
【００３５】
例えば、図５(ａ)に示したように、人物の顔の部分に対応する肌色の領域の一部に、一点鎖線で囲んだように少なくとも一つの飽和画素が検出された場合に、輝点領域検出部３４は、これらの飽和画素の周囲に位置する画素のうち、肌色の範囲を逸脱している画素が範囲外と判定され、上述した飽和画素とともに輝点領域に連結される(ステップＳ１７)。
【００３６】
その後、新たに検出された範囲外の画素の周囲にまだ範囲外の画素であるか否かを判定されていない未判定の画素がある場合に(ステップＳ１８の肯定判定)、輝点領域検出部３４は、ステップＳ１５に戻って新たに輝点領域の周囲に組み込まれた画素に対応する色度値を取得し、対応する領域の色の範囲を逸脱した画素が含まれているか否かを判定する。
【００３７】
このようにして、ステップＳ１５からステップＳ１８を繰り返すことにより、飽和画素の周囲に分布する範囲外の色を持つ画素を漏れなく検出し、図５(ａ)において、太い実線で囲んで示すような輝点領域を特定することができる。
【００３８】
このようにして特定された輝点領域は、図５(ａ)に示すように、撮影画像においてこの輝点領域が含まれている領域(例えば、人物の顔に対応する領域)に対応して特定された色の範囲内の色を持つ画素に囲まれている(図５(ａ)において、太い破線で囲んで示す)。
【００３９】
したがって、例えば、上述した輝点領域の周囲に位置する各画素の色を示すＲＧＢデータの平均値を置換色として求め(図２のステップＳ７)、この置換色を用いて輝点領域に含まれる各画素の色を示すＲＧＢデータを置き換えることにより(ステップＳ８)、図５(ｂ)に示すように、人物の顔部分に現れた「白とび」した部分である輝点領域の色を、その人物の肌色に置き換えることができる。
【００４０】
その後、図５(ｂ)に示すような平滑化フィルタを用いて、平滑化処理を行うことにより(ステップＳ９)、例えば、撮影画像の図５に示した範囲における肌色の明るさや色合いのグラデーションを再現し、より自然な印象の画像を生成することができる。
【００４１】
このように、輝点領域の周囲に位置する画素の色情報を用いて平滑化処理を行う場合には、輝点領域の周囲に位置する画素の色にかかわらず、対応する領域について特定された代表色を置換色として用いることもできる。
【００４２】
また、輝点領域の周囲に位置する各画素の色をＬ＊ａ＊ｂ＊表色系などの均等色空間で表した色度値を用いて置換色を決定し、この置換色をＲＧＢ表色系に変換した値を用いて、ステップＳ８の置換処理を行うこともできる。
【００４３】
なお、上述したように、撮影画像に含まれる各画素の色を色空間にマッピングして撮影画像に捉えられた被写体の像を色に着目して領域に区分し、各領域に現れた輝点領域を対応する領域について特定した領域色情報に基づいて補正する方法は、人物のみならず、様々な被写体を撮影した画像について汎用的に適用することが可能である。
【００４４】
また、色に着目した撮影画像の区分処理の際に用いる表色系は、上述したＬ＊ａ＊ｂ＊表色系などの均等色空間の表色系に限らず、例えば、補間処理部３１で得られる画像データの表色系であるＲＧＢ表色系であってもよい。
【００４５】
また、デジタルカメラ内での画像処理および圧縮処理を経てメモリーカードなどの記憶媒体に記録された撮影画像について、図２に示した輝点補正処理を適用することも可能である。
【００４６】
また、図２に示した流れ図は、輝点補正処理動作を実現する処理フローの一例であり、処理の高速化などのために、いくつかの処理を並行に実行したり、処理順を入れ替えたりすることができる。例えば、色解析処理部３２による色に着目した撮影画像の領域分け処理と輝点領域検出部３４による飽和画素の検出処理とを並行に実行させることもできる。また、色解析処理部３２による処理の過程で、撮影画像に含まれる各画素について、所属する領域やその画素の色が所属する領域の色の範囲に収まっているか否かを判別し、これらを示す情報を領域色情報保持部３３に格納して、輝点領域検出部３４の処理に供することで、輝点領域の特定処理を簡略化することもできる。
【００４７】
ところで、被写体が人物に特定される場合には、顔検出処理によって得られた情報を輝点領域の検出や検出した輝点領域についての補正処理に利用することができる。
(実施形態２)
図６に、画像処理部の別実施形態を示す。
【００４８】
なお、図６に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４９】
図６に示した画像処理部１６では、顔検出処理部３６によって検出された顔領域の画像が、顔領域抽出部３７によって抽出され、色解析処理部３２および輝点領域検出部３４の処理に供される。
【００５０】
顔検出処理部３６により、人物の顔に対応する撮影画像の領域が特定され、更に、人物の顔の主要な構成要素である目や口などに対応する部分も特定されるので、これらの情報を利用して、色解析処理部３２は、人物の顔における肌色の部分と目や唇に対応する部分とについて、それぞれ代表色および色の範囲を特定する処理を行うことができる。
【００５１】
また、輝点領域検出部３４において、顔検出処理部３６によって得られた顔の輪郭および目や唇の輪郭に関する情報を利用することにより、例えば、図７に示すように、唇に近い肌色の部分に輝点が現れた場合に、唇の輪郭にあたる画素や唇の色を持つ画素が輝点領域の補正処理に影響を及ぼさないように、適切な輝点領域を特定することができる。
【００５２】
例えば、図７に示した例では、網掛けを付して示した飽和画素の左下側を囲む画素（図７において、二重枠を付して示す）が唇の輪郭および唇の色を持つ画素である旨の顔検出結果に基づいて、輝点領域検出部３４の処理により、これらの画素が輝点領域からはずされる。また、肌色の領域と唇の部分に対応する領域との境界に関する情報に基づいて、輝点補正部３５によって、置換色の決定や平滑化処理に用いる画素を肌色の領域に属する画素に限定することができる。これにより、図７において、太い破線と太い実線とに挟まれた肌色の画素のみが置換色の決定や平滑化処理に用いられ、肌色の領域に含まれる画素の色として適切な置換色を用いて輝点領域の画素の色が置き換えられ、また、周辺に位置する画素のうち肌色の領域に含まれる画素の色を選択的に参照して平滑化処理が行われる。
【００５３】
このように、顔検出処理で得られた情報を利用することにより、様々な色を持つ領域が複雑に入り混じった人物の顔を表す画像に現れた輝点を、輝点が含まれる領域の色に類似した色を用いて補正することができるので、輝点が現れた部分とその周囲の画像の部分とを滑らかにつなげて、自然な印象を与える撮影画像を提供することができる。
【００５４】
なお、実施形態１および実施形態２では画像処理装置として電子カメラを例に説明したが、例えば、画像処理装置が備える各構成の機能を実現するためのプログラムをコンピュータに読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより画像処理装置としての機能を実現してもよい。コンピュータ読み取り可能な記録媒体として、例えば、ＣＤ−ＲＯＭ等の可搬媒体やコンピュータシステムに内蔵されるハードディスクなどの記憶装置等を使用することができる。
【符号の説明】
【００５５】
１１…撮影光学系、１２…撮像素子、１３…アナログ信号処理部、１４…撮影駆動部、１５…アナログデジタル（Ａ／Ｄ）変換部、１６…画像処理部、１７…メモリ、１８…圧縮／伸長部、１９…システム制御部、２０…記録インタフェース(Ｉ／Ｆ)、２１…画像モニタ、２２…操作部、３１…補間処理部、３２…色解析処理部、３３…領域色情報保持部、３４…輝点領域検出部、３５…輝点補正部、３６…顔検出処理部、３７…顔領域抽出部。
【先行技術文献】
【特許文献】
【００５６】
【特許文献１】特開２００７−２２１２８４号公報
【図１】
2010199866.tif 000003
【図２】
2010199866.tif 000004
【図３】
2010199866.tif 000005
【図４】
2010199866.tif 000006
【図５】
2010199866.tif 000007
【図６】
2010199866.tif 000008
【図７】
2010199866.tif 000009