(57)【要約】【課題】少ない回路増加で、輝度信号によるダイナミックレンジ圧縮処理が行われた部分の色付きを改善し、早い退色を防止し、輝度ニー補正での高輝度域の色残し処理を画柄によって動的に変更可能とし、見え方に不自然さが残らないように最適に調整する。【解決手段】映像信号処理装置は、入力された映像信号から輝度信号を抽出する輝度生成部１１と、色成信号から上記輝度信号を減算する減算部１５と、上記映像信号をＬＰＦした後の映像信号の各色成信号の最大値に基づいて算出される信号NAMYと、該色信号の飽和レベルに係る係数CHMAXとに基づいて、補正係数Kw,Kw’を算出し、輝度信号Yに対して、少なくとも補正係数Kw,Kw’を用いてニー補正を実施する演算部１８と、ニー補正が実施された輝度信号と上記減算部１５の出力とを加算し、ニー補正が施された映像信号を出力する加算部１９とを備える。【選択図】      図２
2009111894.tif 000002
【特許請求の範囲】
【請求項１】
映像信号処理装置において、
入力された映像信号から抽出した輝度成分に対してニー補正を行うもので、高輝度部分での色つきを原信号から算出した色濃度に基づいて調整する輝度ニー補正手段を備えた
ことを特徴とする映像信号処理装置。
【請求項２】
上記色濃度とは原信号から算出した彩度であって、
上記輝度ニー補正手段は、輝度に対してニー補正を行う際、高輝度部分での色つきを原信号から算出した彩度のレベルによって調整する
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
上記色濃度とは原信号から算出した色差信号のレベルであって、
上記輝度ニー補正手段は、輝度に対してニー補正を行う際、高輝度部分での色つきを原信号から算出した色差信号のレベルによって調整する
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
入力された映像信号から輝度信号を抽出する輝度信号生成手段と、
上記映像信号の各色成信号から上記輝度信号を減算する減算手段と、
上記映像信号をローパスフィルタリングした後の映像信号の各色成信号の最大値に基づいて算出される信号と予め定められた第１の係数とに基づいて合成輝度信号を算出し、該合成輝度信号に対してニー補正をかけた信号を該合成輝度信号で除算することで第１の補正係数を算出し、該第１の補正係数並びに上記最大値に基づいて算出された信号及び上記色信号の飽和レベルに係る第２の係数に基づいて退色を防ぐための第２の補正係数を算出し、上記輝度信号生成手段により算出された輝度信号に対して、少なくとも上記第１及び第２の補正係数を用いてニー補正を実施する演算手段と、
上記ニー補正が実施された輝度信号と上記減算手段の出力とを加算し、ニー補正が施された映像信号を出力する加算手段とを備えた
ことを特徴とする映像信号処理装置。
【請求項５】
上記演算手段は、彩度残し処理を彩度のレベルにより可変とするための第３の補正係数を更に用いて、上記ニー補正を実施する
ことを特徴とする請求項４に記載の映像信号処理装置。
【請求項６】
上記演算手段は、彩度残し処理を色差信号のレベルにより可変とするための第４の補正係数を更に用いて、上記ニー補正を実施する
ことを特徴とする請求項４に記載の映像信号処理装置。
【請求項７】
被写体像を撮像し、撮像信号を出力する撮像手段と、
上記撮像信号に所定の処理を施した映像信号を出力する信号処理手段と、
上記映像信号から輝度信号を抽出する輝度信号生成手段と、
上記映像信号の各色成信号から上記輝度信号を減算する減算手段と、
上記映像信号をローパスフィルタリングした後の映像信号の各色成信号の最大値に基づいて算出される信号と予め定められた第１の係数とに基づいて合成輝度信号を算出し、該合成輝度信号に対してニー補正をかけた信号を該合成輝度信号で除算することで第１の補正係数を算出し、該第１の補正係数並びに上記最大値に基づいて算出された信号及び上記色信号の飽和レベルに係る第２の係数に基づいて退色を防ぐための第２の補正係数を算出し、上記輝度信号生成手段により算出された輝度信号に対して、少なくとも上記第１及び第２の補正係数を用いてニー補正を実施する演算手段と、
上記ニー補正が実施された輝度信号と上記減算手段の出力とを加算し、ニー補正が施された映像信号を出力する加算手段とを備えた
ことを特徴とする撮像装置。
【請求項８】
入力された映像信号から輝度信号を抽出するステップと、
上記映像信号の各色成信号から上記輝度信号を減算するステップと、
上記映像信号をローパスフィルタリングした後の映像信号の各色成信号の最大値に基づいて算出される信号と予め定められた第１の係数とに基づいて合成輝度信号を算出し、該合成輝度信号に対してニー補正をかけた信号を該合成輝度信号で除算することで第１の補正係数を算出し、該第１の補正係数並びに上記最大値に基づいて算出された信号及び上記色信号の飽和レベルに係る第２の係数に基づいて退色を防ぐための第２の補正係数を算出し、上記輝度信号生成手段により算出された輝度信号に対して、少なくとも上記第１及び第２の補正係数を用いてニー補正を実施するステップと、
上記ニー補正が実施された輝度信号と上記減算後の出力とを加算し、ニー補正が施された映像信号を出力するステップと備えた
ことを特徴とする映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば映像信号処理装置等に係り、特に色の回りやそれに伴う色付の不自然さを最適に調整する技術分野に関する。
【背景技術】
【０００２】
従来、映像信号処理の分野では、映像信号のダイナミックレンジを圧縮し、該圧縮の際にニー特性に応じた非線形変換を行うニー（knee）補正が実施されている。
【０００３】
即ち、このニー補正とは、所定のレベル以上の高輝度部分の映像信号については高い圧縮率で圧縮するような非線形圧縮処理であり、R，G，B毎にそれぞれニー補正をかけるもの(以下、「RGBニー補正」と称する)と、輝度信号を生成し、該輝度信号に応じてKnee補正を行うもの(以下、「輝度ニー補正」と称する)に大別される。
【０００４】
このニー補正では、例えば、近似曲線を用いて映像信号が処理される。
【０００５】
即ち、RGBニー補正では、入力画素値に対する近似曲線の傾きをKSr，KSg，KSb、切片をそれぞれKYr，KYg，KYbとし，R，G，Bの色信号のそれぞれに独立にニー補正をかけた結果を、それぞれR_k，G_k，B_kとすると、その計算式は次式で示される。
R_k＝KSr×R＋KYr
G_k＝KSg×G＋KYg
B_k＝KSb×G＋KYb
このRGBニー補正では、ニー補正のかかった部分の色相が回ってしまうため、ニー補正のかかっていない部分との色が異なって見える等の問題がある。つまり、RGBニー補正では、色信号毎にニー補正が行われるため、高輝度で色が回ってしまう。例えば、人物の肌の色などは、RGBニー補正を行うと黄色が強くなってしまう。
【０００６】
一方、輝度ニー補正では、輝度信号に対してニー補正が行われるため、色の回りは抑えられるが、同時に行われる彩度絞りの影響により、高輝度域で色がなくなってしまうという欠点がある。
【０００７】
このような問題に鑑みて、例えば特許文献１では、輝度ニー補正における高輝度での色付を改善するために、彩度絞りに退色を抑制する機能を実装している。
【０００８】
【特許文献１】特開２００６−１４８３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来技術では、色によって色の残り方が異なる等、見え方に不自然さが残る場合があるといった問題がある。
【００１０】
本発明は、少ない回路増加により、輝度信号によるダイナミックレンジ圧縮処理が行われた部分の色付きを改善し、早い退色を防止し、輝度ニー補正での高輝度域の色残し処理を画柄によって動的に変更すること可能とし、見え方に不自然さが残らないように最適に調整することを課題とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点による映像信号処理装置は、入力された映像信号から抽出した輝度成分に対してニー補正を行うもので、高輝度部分での色つきを原信号から算出した色濃度に基づいて調整する輝度ニー補正手段を備える。
【００１２】
従って、輝度ニー補正手段により、高輝度部分で色回りの少ない自然な色が得られる。
【００１３】
この第１の観点において、色濃度とは原信号から算出した彩度であって、輝度ニー補正手段は、輝度に対してニー補正を行う際、高輝度部分での色つきを原信号から算出した彩度のレベルによって調整することとしてもよい。或いは、この第１の観点において、色濃度とは原信号から算出した色差信号のレベルであって、輝度ニー補正手段は、輝度に対してニー補正を行う際、高輝度部分での色つきを原信号から算出した色差信号のレベルによって調整することとしてもよい。
【００１４】
本発明の第２の観点による映像信号処理装置は、入力された映像信号から輝度信号を抽出する輝度信号生成手段と、映像信号の各色成信号から上記輝度信号を減算する減算手段と、映像信号をローパスフィルタリングした後の映像信号の各色成信号の最大値に基づいて算出される信号と予め定められた第１の係数とに基づいて合成輝度信号を算出し、該合成輝度信号に対してニー補正をかけた信号を該合成輝度信号で除算することで第１の補正係数を算出し、該第１の補正係数並びに上記最大値に基づいて算出された信号及び上記色信号の飽和レベルに係る第２の係数に基づいて退色を防ぐための第２の補正係数を算出し、輝度信号生成手段により算出された輝度信号に対して、少なくとも第１及び第２の補正係数を用いてニー補正を実施する演算手段と、ニー補正が実施された輝度信号と減算手段の出力とを加算し、ニー補正が施された映像信号を出力する加算手段とを備える。
【００１５】
従って、演算手段により、輝度信号に対してのみニー補正が実施され、高輝度部分で色回りの少ない自然な色が得られ、見え方が自然となるような調整がなされる。
【００１６】
この第２の観点において、演算手段は、彩度残し処理を彩度のレベルにより可変とするための第３の補正係数を更に用いて、上記ニー補正を実施することとしてもよい。或いはこの第２の観点において、演算手段は、彩度残し処理を色差信号のレベルにより可変とするための第４の補正係数を更に用いて、上記ニー補正を実施することとしてもよい。
【００１７】
本発明の第３の観点による撮像装置は、被写体像を撮像し、撮像信号を出力する撮像手段と、上記撮像信号に所定の処理を施した映像信号を出力する信号処理手段と、上記映像信号から輝度信号を抽出する輝度信号生成手段と、上記映像信号の各色成信号から上記輝度信号を減算する減算手段と、映像信号をローパスフィルタリングした後の映像信号の各色成信号の最大値に基づいて算出される信号と予め定められた第１の係数とに基づいて合成輝度信号を算出し、該合成輝度信号に対してニー補正をかけた信号を該合成輝度信号で除算することで第１の補正係数を算出し、該第１の補正係数並びに上記最大値に基づいて算出された信号及び上記色信号の飽和レベルに係る第２の係数に基づいて退色を防ぐための第２の補正係数を算出し、輝度信号生成手段により算出された輝度信号に対して、少なくとも第１及び第２の補正係数を用いてニー補正を実施する演算手段と、上記ニー補正が実施された輝度信号と上記減算手段の出力とを加算し、ニー補正が施された映像信号を出力する加算手段とを備える。
【００１８】
従って、撮像手段により得られた撮像信号に対してＡ／Ｄ変換等の所定の処理が施され得られた映像信号のうち輝度信号に対してのみニー補正が実施されることで、高輝度部分で色回りの少ない自然な色が得られ、見え方が自然となるような調整がなされる。
【００１９】
本発明の第４の観点による映像信号処理方法は、入力された映像信号から輝度信号を抽出するステップと、映像信号の各色成信号から輝度信号を減算するステップと、映像信号をローパスフィルタリングした後の映像信号の各色成信号の最大値に基づいて算出される信号と予め定められた第１の係数とに基づいて合成輝度信号を算出し、該合成輝度信号に対してニー補正をかけた信号を該合成輝度信号で除算することで第１の補正係数を算出し、該第１の補正係数並びに上記最大値に基づいて算出された信号及び上記色信号の飽和レベルに係る第２の係数に基づいて退色を防ぐための第２の補正係数を算出し、輝度信号生成手段により算出された輝度信号に対して、少なくとも第１及び第２の補正係数を用いてニー補正を実施するステップと、上記ニー補正が実施された輝度信号と上記減算後の出力とを加算し、ニー補正が施された映像信号を出力するステップと備える。
【００２０】
従って、輝度信号に対してのみニー補正が実施され、高輝度部分で色回りの少ない自然な色が得られ、見え方が自然となるような調整がなされる。
【発明の効果】
【００２１】
本発明によれば、少ない回路増加により、輝度信号によるダイナミックレンジ圧縮処理が行われた部分の色付きを改善し、早い退色を防止し、輝度ニー補正での高輝度域の色残し処理を画柄によって動的に変更すること可能とし、見え方に不自然さが残らないように最適に調整することが可能な映像信号処理装置、撮像装置及び映像信号処理方法を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明を実施するための最良の実施の形態（以下、単に実施の形態と称する）について詳細に説明する。
【００２３】
図１には本発明の一実施の形態に係る映像信号処理装置の構成を示し説明する。
【００２４】
この図１に示されるように、この映像信号処理装置は、輝度ニー補正回路１と彩度絞り回路２を有している。このような構成において、R(Red),G(Green),B(Blue)の色信号が輝度ニー補正回路に入力されると、詳細は後述するような輝度ニー補正が行われ、その結果、輝度ニー補正後のR,G,B信号R_yk，G_yk，B_ykが出力される。これら信号R_yk，G_yk，B_ykは、彩度絞り回路２に入力され、詳細は後述する彩度絞り処理が施され、その結果、彩度絞り処理後のR,G,B信号R_yｓ、G_yｓ、B_yｓが出力される。
【００２５】
この輝度ニー補正回路１の詳細な構成は、図２に示される。
【００２６】
即ち、この図２に示されるように、輝度ニー補正回路１は、輝度生成部１１、ローパスフィルタ(LPF; Low Pass Filter)１２，１３、Y/MANY生成部１４、減算部１５、係数生成部１６、Sat生成部１７、演算部１８、加算部１９からなる。
【００２７】
このような構成において、本実施の形態が採用する輝度ニー補正では、色回りを防ぎつつ、退色を抑え、彩度を残すような処理を行う。
【００２８】
即ち、R,G,Bの色信号は、輝度生成部１１に入力され、該輝度生成部１１にて輝度成分が抽出され、輝度信号Yが生成される。この輝度信号Yは、減算部１５に入力されると共に、LPF１２にて低周波成分が除去された後、Y/NAMY生成部１４にも入力される。
【００２９】
また、R,G,Bの色信号は、ＬＰＦ１２にて低周波成分が除去された後、Y/NAMY生成部１４にも入力される。Y/NAMY生成部１４では、R,G,Bの色信号の最大値である信号NAMYを生成し、輝度信号Yと信号NAMYを係数生成部１６に送出する。
【００３０】
係数生成部１６は、入力された色信号の最大値で得られる信号NAMYと輝度信号Yとから、所定の係数KNAMを用いて、次式により合成輝度信号Mix_Yを求める。
Mix_Y＝Y＋KNAM×（NAMY−Y）
ここで、近似曲線の傾きをKS，切片をKYとし、Mix_Yに対してニー補正をかけ、ニー補正後の輝度値をY_ykとすると、
Y_yk＝KS×Mix_Y＋KY
が成立する。
【００３１】
これより、輝度ニー補正の補正係数Kw（第１の補正係数）は、輝度値Y_ykを合成輝度信号Mix_Yにより除算することにより、
Kw＝Y_yk／Mix_Y
となる。
【００３２】
これに対して、退色を防ぐために係数Kw’（第２の補正係数）を次式により求める。
【００３３】
【数１】
2009111894.tif 000003
【００３４】
ここで、CHMAXは色信号レベルでの飽和レベルである。
【００３５】
係数生成部１６は、こうして算出した係数Kw,Kw'を演算部１８に送出する。
【００３６】
本実施の形態では、輝度ニー補正を、輝度成分のみに対してかける。
【００３７】
即ち、演算部１８は、係数Kw,Kw'と輝度信号Y、更に所定の係数KADJに基づいて輝度ニー補正をかけた信号Y'を次式により算出する。
Y'＝[｛KADJ×（Kw−Kw'）＋Kw'｝×Y]
ここで、KADJは、０〜１の値を取る係数であり、０のときに最も退色を防ぐ高価が大きくなる。このようにすることで、乗算演算を減らしながら、高輝度域での色つきを改善することが可能となる。
【００３８】
この信号Y‘は、加算部１９に入力され、加算部１９では、減算部１５にて生成された色差信号R-Y、G-Y、B-Yと該信号Y’とに基づいて、輝度ニー補正後の出力信号R_yk, G_yk, B_ykを次式により得る。
R_yk＝Y'＋(R-Y)
G_yk＝Y'＋(G-Y)
B_yk＝Y'＋(B-Y)
一方で、退色を防ぐために彩度を残す処理が不自然であるという問題がある。
【００３９】
例えば、ライティングなどの影響で様々な階調を持つことで立体的に見えている部分が、彩度を残す処理を行うことで階調の差がなくなり、一様な色になってしまう。
【００４０】
その結果、まるで絵画のように見えてしまうという問題がある。
【００４１】
この問題を解決するために、彩度を残す処理を信号の彩度レベルに応じて可変にするような処理を更に加える。Sat生成部１８により生成した係数Sat（第３の補正係数）により、リニアに彩度残し処理を可変にする場合、ニー補正は、次式で表される。
【００４２】
【数２】
2009111894.tif 000004
【００４３】
この場合、係数Satが０に近いほど通常の輝度ニー補正処理となり、逆にSatが１に近いほど彩度残し処理がかかることになる。
【００４４】
この式での係数Satの範囲や傾きを様々に変えることで、彩度による色つきを調整することも可能となる。なお、例では彩度にリニアに反応するシステムを示しているが、非線形的な応答を示すように改良することも可能である。但し、実際には彩度演算における開平演算は非常に大きな回路規模となる。
【００４５】
この問題を回避するために、近似演算などを行うことも考えられるが、近似演算で精度をよくするためには回路規模が大きくなる傾向があり、回路規模を適切にした場合は逆に精度が悪くなるという問題もある。
【００４６】
そこで、彩度の代わりに色差信号のレベルを使用し、同様に彩度残し処理を可変にするようにしてもよいことは勿論である。これは、色差信号のレベルにより彩度残し処理を可変するための係数をNAM_CY（第４の補正係数）とすると、次式で示される。
【００４７】
【数３】
2009111894.tif 000005
【００４８】
この例では、色差の最大値をゲインとして色残し処理を制御している。
【００４９】
このようにすることで、演算量を最小限にしながら、彩度による色残し処理と類似の効果が得られることになる。同様に、色差の単純な和や平均値を利用する方法や、人間が特に敏感な色を色差の比率で判別してやる方法、彩度演算で開閉演算を行わない等の方法も考えられるが、最終的には人間の視覚特性等を考慮しながら、最適な補正値算出方法を選んでやることが最善と思われる。
【００５０】
以上のようにして求められた信号に対し、彩度絞り回路２は、最終的に色信号毎に設定された飽和レベルに収まるように、彩度絞りをかけることで、輝度ニーの最終的な出力が得られる。これは次式で示すことができる。
【００５１】
【数４】
2009111894.tif 000006
【００５２】
ここで、TEWCは、設定した飽和レベルである。
【００５３】
以上説明したように、本実施の形態によれば、入力された映像信号から輝度信号Yを抽出する輝度生成部１１と、映像信号の各色成信号であるR,G,B信号から輝度信号Yを減算する減算部１５と、上記映像信号をＬＰＦ１２により低域除去した後の映像信号の各色成信号の最大値に基づいて算出される信号NAMYと予め定められた第１の係数としての係数KNAMに基づいて合成輝度信号Mix_Yを算出し、該Mix_Yに対してニー補正をかけた信号Y_ykを該合成輝度信号Mix_Yで除算することで第１の補正係数としてのKwを算出し、該第１の補正係数Kw並びに上記信号NAMY及び上記色信号の飽和レベルに係る第２の係数CHMAXに基づいて退色を防ぐための第２の補正係数Kw’を算出し、輝度生成部１１により算出された輝度信号Yに対して、少なくとも第１及び第２の補正係数Kw,Kw’を用いてニー補正を実施する演算部１８と、上記ニー補正が実施された輝度信号と減算部１５の出力とを加算し、ニー補正が施された映像信号R_yk,G_yk,B_ykを出力する加算部１９とを備えた映像信号処理装置が提供される。
【００５４】
尚、演算部１８は、彩度残し処理を彩度のレベルにより可変とするための第３の補正係数としての係数Satを更に用いて、上記ニー補正を実施するようにしてもよい。演算部１８は、彩度残し処理を色差信号のレベルにより可変とするための第４の補正係数としての係数NAM_CYを更に用いて、上記ニー補正を実施するようにしてもよい。
【００５５】
次に、図３には、この一実施の形態に係る映像信号処理装置を撮像装置に適用した構成を示し説明する。この撮像装置は、ディジタルビデオカメラ等であって、レンズユニット１００、撮像素子１０１、アナログ処理及びＡＤ変換部１０２、欠陥補正部１０３、カメラ信号処理部１０４、フレーム処理部１０５、補正部１０６と、出力部１０７とを備えている。映像信号処理装置は、補正部１０６の一部として実装されることになる。
【００５６】
このような構成において、レンズユニット１００は、フォーカスレンズ、ズームレンズ及び絞り羽根等、並びにこれらレンズ等を駆動する駆動部からなる。レンズユニット１００を介して入射した被写体像は、撮像素子１０１にて受光され、光電変換され、撮像信号が出力される。撮像素子１０１は、Ｃ−ＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子である。撮像信号は、アナログ処理及びＡ/Ｄ変換部１０２に供給され、クランプや増幅処理等のアナログ処理が施され、Ａ/Ｄ変換によりデジタル化される。
【００５７】
欠陥補正部１０３は、撮像素子１０１の画素に欠陥が生じていた場合、その欠陥部分の撮像信号を補正する回路である。欠陥補正部１０３により欠陥補正処理がされた撮像信号は、カメラ信号処理部１０４に供給され、ホワイトバランス処理、収差補正処理、シェーディング処理等の処理が施される。これらの処理がされた撮像信号は、フレーム処理部１０５に供給され、撮像信号に対するフレーム（フィールド）単位の処理が行われる。
【００５８】
そして、このフレーム（フィールド）単位の処理がされた撮像信号は、補正部１０６に供給される。この補正部１０６では、輝度信号に対して、前述したような輝度ニー補正等が施され、出力部１０７へと供給される。こうして、出力部１０７は、入力された撮像信号を所定の映像フォーマットに対応した信号に変換し、外部に出力する。
【００５９】
以上詳述したように、本発明の一実施の形態によれば、輝度信号によるダイナミックレンジ圧縮処理が行われた部分の色付きを改善することが可能となる。更に、少ない回路増加により、早い退色を防ぐことが可能となる。また、輝度ニー補正での高輝度域の色残し処理を画柄によって動的に変更することが可能となる。そして、より少ない回路規模で高輝度の色残し処理を画柄に応じて動的に変更することが可能となる。
【００６０】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施の形態に係る映像信号処理装置の構成図。
【図２】映像信号処理装置の輝度ニー補正回路の詳細な構成図。
【図３】本実施の形態に係る映像信号処理装置を適用した撮像装置の構成図。
【符号の説明】
【００６２】
１…輝度ニー補正回路、２…彩度絞り回路、１１…輝度生成部、１２…ＬＰＦ、１３…ＬＰＦ、１４…Ｙ／ＮＡＭＹ生成部、１５…減算部、１６…係数生成部、１７…Ｓａｔ生成部、１８…演算部、１９…加算部
【図１】
2009111894.tif 000007
【図２】
2009111894.tif 000008
【図３】
2009111894.tif 000009