(57)【要約】【課題】アンダーシュート、オーバーシュートが付加されている映像信号に対しても、より十分なダイナミックレンジの伸張が可能で、映像信号分布情報のモニター機能を商品に導入する場合でも、元来のコンテンツの状態で表示させることのできる画像処理装置を提供することを目的とする。【解決手段】入力映像信号がエッジ検出部２に入力され、エッジ検出の結果がオーバーシュート・アンダーシュート補正部３に入力され、エッジ検出結果に基づく所定の領域の映像信号がマスクされ、オーバーシュート、アンダーシュートが除去された映像信号が最大値最小値検出部４に入力され、この情報を基に１フレーム毎の映像信号の最小値、最大値が検出される。この最小値、最大値はダイナミックレンジ伸張部５に入力され、この結果を基に、映像信号の階調補正を行いダイナミックレンジが伸張される。【選択図】図１
2009267902.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像信号のエッジを検出するエッジ検出部と、
前記エッジ検出部から入力される映像信号のエッジ情報を用いて、前記映像入力端子から入力される映像信号のエッジ部分と隣接する映像信号を補正するオーバーシュート・アンダーシュート補正部と、
前記オーバーシュート・アンダーシュート補正部の出力である映像信号の最大値、最小値をフレーム毎に検出する最大値最小値検出部と、
前記最大値最小値検出部の出力である映像信号の最小値および最大値を用いて、フレーム毎に前記映像信号入力端子から入力される映像信号のダイナミックレンジを伸張するダイナミックレンジ伸張部と、
から構成される画像処理装置。
【請求項２】
入力された映像信号のエッジを検出するエッジ検出部と、
前記エッジ検出部から入力される映像信号のエッジ情報を用いて、前記映像入力端子から入力される映像信号のエッジ部分と隣接する映像信号を補正するオーバーシュート・アンダーシュート補正部と、
前記オーバーシュート・アンダーシュート補正部の出力である映像信号の最大値、最小値をフレーム毎に検出する最大値最小値検出部と、
前記最大値最小値検出部の出力である映像信号の最小値および最大値を用いて、フレーム毎に前記映像信号入力端子から入力される映像信号のダイナミックレンジを伸張するダイナミックレンジ伸張部と、
前記オーバーシュート・アンダーシュート補正部から入力される映像信号のレベル分布を検出し、その分布情報を出力する映像分布波形生成部と、
前記ダイナミックレンジ伸張部からの映像信号に、前記映像分布波形生成部からの出力を重畳する映像分布波形重畳部と、
から構成される画像処理装置。
【請求項３】
前記オーバーシュート・アンダーシュート補正部は、前記エッジ検出部により検出されたエッジの位置と検出レベルに基き、検出されたエッジ部分に隣接する映像信号の所定の領域を補正することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記オーバーシュート・アンダーシュート補正部によるエッジ部分に隣接する映像信号の補正は、前記最大値最小値検出部で前記所定の領域の映像信号をマスクすることであることを特徴とする請求項３記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像信号を画像表示装置に表示させる際に、映像信号への階調補正等の加工を行う、画像処理装置に関する。
【背景技術】
【０００２】
従来、入力された映像信号を表示する画像表示装置において、表示デバイスに入力される前段で、映像信号に対して二次微分成分の付加等の処理を行うことにより、鮮鋭感の増大を可能にするシャープネス、エッジの傾斜を立てるＬＴＩ（Luminance Transient Improvement）と言った画像エッジ補正技術が用いられている。
【０００３】
特にシャープネスは、二次微分成分の付加等の処理により、映像信号の水平方向、垂直方向の一定以上の変化点（以下エッジと呼ぶ）を抽出し、そのエッジの大きさに相関を持った形で、映像信号のエッジに対して、黒から白レベルの変化には、エッジ前にマイナス、エッジ後にプラスの、また白から黒の変化には、エッジ前にプラス、エッジ後にはマイナスの成分を、映像信号のエッジ強度に応じて付加するものである。
【０００４】
このような、プラス方向の成分付加、マイナス方向の成分付加を、各々オーバーシュート、アンダーシュートと呼び、多くの画像表示装置では、ユーザーがレベル調整をも可能にした状態で導入されている。
【０００５】
また、二次微分処理だけではなく、エッジからの映像信号の加工の仕方も多岐に渡っている（例えば特許文献１参照）。
【０００６】
また、画像表示装置にとって映像入力となる、ＤＶＤ（Digital Versatile Disk）プレーヤー等からの出力、あるいは放送局からの送信波によって送られてくる映像信号に重畳された時点で、既にこのシャープネス処理が施されていることも少なくない。
【０００７】
また、映像信号の解析を行うため、例えば、Ｒ、Ｇ、Ｂ、Ｙの形の外部から入力された時点の映像信号のレベル分布の情報を画面上に表示させ、その情報を基にユーザーがブライト、コントラスト調整を自由に行うといった機能が商品に導入され始めている。
【特許文献１】特開２００３−３２５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
近年、ＰＤＰ（Plasma Display Panel）、液晶ＴＶ、プロジェクタと言った民生用画像表示装置において、高画質化へのアプローチの１つとして、より原画に忠実な階調表現への要望は高まっており、表示デバイスの所有するダイナミックレンジを十分に活用することが求められている。
【０００９】
このため、前段の信号処理系のダイナミックレンジをフルに用いるように、映像信号の最大値、最小値、平均値と言った情報に基づき、フレーム毎に映像信号の階調補正を行っている。
【００１０】
しかしながら、前述の映像信号に重畳されているオーバーシュート、アンダーシュート成分は、本来の映像には含まれていない情報であり、信号処理系のダイナミックレンジの拡大を目論み、映像信号に適応的な階調補正を行う場合、この成分が含まれているため、ダイナミックレンジの拡大が不十分になることが考えられる。
【００１１】
つまり、映像信号に付加されたオーバーシュート、アンダーシュート成分の最大値が基準になってダイナミックレンジが制限されてしまい、これによって、元の映像信号に対してのダイナミックレンジは低く抑えられてしまうためである。
【００１２】
また、映像信号の解析を目的として、映像信号分布情報を表示するモニター機能を商品に導入する場合でも、元来のコンテンツの状態で表示を行う必要があるが、オーバーシュート、アンダーシュート成分が付加された状態では誤って解析してしまうことになる。
【００１３】
上記のように、本来伸張することのできる映像信号の範囲に、前述のオーバーシュート、アンダーシュート成分が含まれてしまうと、ダイナミックレンジ拡大の範囲を狭めてしまう課題があった。
【００１４】
また、画像表示装置で、映像信号のブライト、コントラストの調整を行う場合でも、オーバーシュート、アンダーシュートを含んだ本来のコンテンツと異なった情報を基に実行すると、最適な調整結果が得られなくなってしまう。
【００１５】
本発明は上記従来の課題を解決するもので、アンダーシュート、オーバーシュートが付加されている映像信号に対しても、より十分なダイナミックレンジの伸張が可能で、映像信号分布情報のモニター機能を商品に導入する場合でも、元来のコンテンツの状態で表示させることのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するために本発明の画像処理装置は、
入力された映像信号のエッジを検出するエッジ検出部と、
前記エッジ検出部から入力される映像信号のエッジ情報を用いて、前記映像入力端子から入力される映像信号のエッジ部分と隣接する映像信号を補正するオーバーシュート・アンダーシュート補正部と、
前記オーバーシュート・アンダーシュート補正部の出力である映像信号の最大値、最小値をフレーム毎に検出する最大値最小値検出部と、
前記最大値最小値検出部の出力である映像信号の最小値および最大値を用いて、フレーム毎に前記映像信号入力端子から入力される映像信号のダイナミックレンジを伸張するダイナミックレンジ伸張部と、
から構成されている。
【００１７】
本発明の画像処理装置では、入力される映像信号のエッジ近傍のオーバーシュート、アンダーシュートの高さ、幅を、エッジ検出回路により映像信号のエッジ位置と検出レベルから推測し、このオーバーシュート、アンダーシュート成分を除去した映像信号から、フレーム毎に映像信号の最大値、最小値を検出し、これに基づき映像信号の階調補正を行うことにより、正確なダイナミックレンジの伸張が可能となる。
【００１８】
またオーバーシュート、アンダーシュートを除去した映像信号を基に、映像信号分布情報を表示し、さらにこれを基に解析およびブライト、コントラスト等の調整を行うと、最適な調整結果を得ることができる。
【発明の効果】
【００１９】
これにより、本発明の画像処理装置では、アンダーシュート、オーバーシュートが付加されている映像信号に対しても、本来の映像が持つ同一フレーム内の最大値、最小値を正確に検出することが可能になり、これを基に階調補正を行うことにより、より十分なダイナミックレンジの伸張が可能となる。
【００２０】
また、ユーザーが映像信号の分布情報を基に、映像調整を行う場合、より正確な調整が可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２２】
（実施の形態１）
図１は本発明の実施の形態１の画像処理装置の構成を示すブロック図、図２はエッジ検出部を示すブロック図である。
【００２３】
図において、１は映像信号が入力される映像信号入力端子、２は、映像信号の水平方向、あるいは垂直方向の隣接する画素間の変化量となるエッジを検出するエッジ検出部、３は、エッジ検出部２で検出したエッジの位置と検出レベルに基き、映像信号のオーバーシュート、アンダーシュート成分を除去するオーバーシュート・アンダーシュート補正部、４は、オーバーシュート・アンダーシュート補正部３で補正された映像信号を基に、１フレーム内の最大値、最小値を検出する最大値最小値検出部、５は、最大値最小値検出部４で検出されたフレーム毎の最大値、最小値に応じて、映像信号入力端子１からの映像信号に対して階調補正を行うダイナミックレンジ伸張部、６はダイナミックレンジ伸張部５からの映像信号を出力する映像信号出力端子である。
【００２４】
以上のように構成された本実施の形態の画像処理装置において、以下、その動作を説明する。
【００２５】
まず、映像信号入力端子１からの映像信号をエッジ検出部２に入力し、一次微分回路等を用いてエッジを検出する。
【００２６】
エッジ検出部２の動作について、図２を用いて、水平画素間のエッジを抽出する一次微分の例で説明する。
【００２７】
図２において、エッジ検出部２は、１Ｔ遅延器（１クロック遅延器)１５、１６、乗算器Ａ１２、乗算器Ｂ１３、乗算器Ｃ１４、加算器１７から構成され、エッジ検出部２の入力をＹＩＮ、エッジ検出出力をＹＯＵＴとしたとき、中間信号ａ、ｂ、ｃを用いてＹＯＵＴは次式で表現される。
【００２８】
ＹＯＵＴ＝ａ×ｋ０＋ｂ×ｋ１＋ｃ×ｋ２
ここで、ｋ０、ｋ１、ｋ２は可変な係数であり、ｋ０＝１、ｋ１＝0、ｋ２＝−１に設定すると、立ち上がりエッジを正の値、立ち下がりエッジを負の値として検出できる。
【００２９】
エッジ成分が大きくなると検出結果の絶対値が大きくなる。
【００３０】
係数ｋ０、ｋ１、ｋ２の設定値は、表示装置の状態に応じて設定可能である。
【００３１】
また、１Ｔ遅延器を１Ｈ遅延器（ラインメモリ）に置き換えると、垂直画素間のエッジ抽出が同様に可能となる。
【００３２】
このようにしてエッジ検出部２で検出された結果は、オーバーシュート・アンダーシュート補正部３に入力される。
【００３３】
オーバーシュート・アンダーシュート補正部３の補正例を、図３のオーバーシュート、アンダーシュート補正の概念図、図４のエッジ検出レベルとマスクするべき領域の相関図を用いて説明する。
【００３４】
映像信号のエッジの位置とエッジ検出回路出力（エッジ検出レベル）は図３のようになり、エッジ成分の大きさに応じて、エッジ検出レベルが大小する。
【００３５】
また、映像信号のエッジ近傍にオーバーシュート、アンダーシュート部分が付加されており、これが今回補正するべき領域となる。この補正するべき領域とエッジ検出レベルの関係を図４に示す。
【００３６】
図４において、エッジ検出レベルが小さい時は、オーバーシュート、アンダーシュートが少なく、エッジ近傍まで有効映像情報であると考えられるため、マスクするべき領域をゼロとする。
【００３７】
逆に、エッジ検出レベルが所定のレベルＡを超えると、オーバーシュート、アンダーシュートが付加されているため、エッジ検出レベルに応じてマスクするべき領域を増やしていく。
【００３８】
結果として、マスクするべき領域内の映像信号情報は、最大値最小値検出部４でマスクする、つまり無効とする。
【００３９】
本実施の形態では、補正するべき領域のタイミング信号を後段の最大値最小値検出部４に入力し、補正するべき領域の映像信号をマスクした後、最大値最小値を検出している。
【００４０】
前述のマスクするべき領域とエッジ検出レベルの関係を示す関数は、基板のノイズレベル、表示デバイスの特性によって最適なカーブが変わるため、表示装置毎に最適化する必要がある。このようにして算出された結果は、最大値最小値検出部４に入力される。
【００４１】
最大値最小値検出部４では、オーバーシュート、アンダーシュートが除去された映像信号が入力され、映像信号本来の特性が抽出でき、フレーム毎に映像信号の最大値、最小値を検出する。フレーム毎の最大値、最小値はダイナミックレンジ伸張部５に入力される。
【００４２】
ダイナミックレンジ伸張部５での階調補正の例を、図５の階調補正の一例を示す概念図を用いて説明する。
【００４３】
ダイナミックレンジ伸張部５に入力された映像信号は、入力されたフレーム毎の輝度信号（Ｙ）の最大値であるＹｉｎＭＡＸ、最小値であるＹｉｎＭＩＮが、各々、信号処理系のダイナミックレンジの最大値、最小値であるＹｏｕｔＭＡＸ（１０２３）、ＹｏｕｔＭＩＮ（０）になるように線形演算補正を行い、映像信号出力端子に出力される。
【００４４】
この「１０２３」、「０」は１０ｂｉｔ信号処理系の最大値、最小値であるが、信号処理系に応じて変更すればよい。
【００４５】
結果として、図５に示すように、入力ダイナミックレンジの範囲を出力ダイナミックレンジの範囲まで拡大することができる。
【００４６】
なお、今回のように輝度信号に対して補正を行う場合、輝度信号に対する補正倍率分だけ色信号に対しても補正する必要がある。
【００４７】
（実施の形態２）
図６は本発明の実施の形態２の画像処理装置の構成を示すブロック図である。図２において、実施の形態１の図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００４８】
図６において、７は、オーバーシュート・アンダーシュート補正部３からの出力映像信号が入力され、オーバーシュート、アンダーシュート成分が除去された映像信号に対するレベル分布波形を算出する映像分布波形生成部、８は、ダイナミックレンジ伸張部５からの映像信号と映像分布波形生成部７からの信号が入力され、通常の映像信号表示に加えて、映像分布波形を併せて表示する映像分布波形重畳部である。映像分布波形重畳部８による映像分布波形重畳のイメージを、図７の映像信号への重畳を示す概念図を用いて説明する。
【００４９】
図７において、例えば黒に近いレベルの中に白に近いレベルの四角形があるような映像信号を画像表示装置に入力した場合を考える。実際に画面に表示される映像は９に相当する。
【００５０】
この映像信号の特定の横線１ラインの選択に用いるラインマーカー（横線）１０と、画面右下の、横線１ライン上の輝度分布情報を示す小窓１１を、映像分布波形生成部７から出力する。この出力を映像分布波形重畳部８で映像信号に重畳する。
【００５１】
輝度分布は、このラインマーカー１０を縦方向に移動させ、その位置における輝度を検出することによって得ることができる。
【００５２】
外部から入力される映像信号のオーバーシュート、アンダーシュートを除去せず、直接、映像分布波形生成部７に入力し解析を行った場合には、画面右下の解析結果を示す小窓１１の波形には、エッジ近傍にオーバーシュート、アンダーシュートが含まれたものとなる。
【００５３】
この小窓１１における表示は、映像調整を行う場合のベースとなるため、映像コンテンツ本来の状態の情報表示が求められ、ＤＶＤプレーヤー、あるいは放送局で映像信号に施されるシャープネス等の加工が施されたものでは正しく解析できなかったが、本実施の形態では、オーバーシュート、アンダーシュートを事前に除去した後、映像分布波形を作成するため、本来の映像コンテンツの輝度分布波形を復元することが可能となる。
【００５４】
なお、検出ラインは縦１ラインでもよいし、映像波形分布を表示する小窓１１の大きさ、位置は自由に設定してもよい。
【産業上の利用可能性】
【００５５】
本発明にかかる画像処理装置は、映像コンテンツが本来持つ特性に復元した後、階調補正を行うことで、より広いダイナミックレンジでの映像表示を可能とし、また、映像信号の波形解析を行う場合も、コンテンツ本来の映像特性を表示できるため、ＰＤＰ、液晶ＴＶ、プロジェクタと言った画像表示装置等において有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施の形態１の画像処理装置の構成を示すブロック図
【図２】同エッジ検出部を示すブロック図
【図３】同オーバーシュート、アンダーシュート補正の概念図
【図４】同エッジ検出レベルとマスクするべき領域の相関図
【図５】同階調補正の一例を示す概念図
【図６】本発明の実施の形態２の画像処理装置の構成を示すブロック図
【図７】同映像信号への重畳を示す概念図
【符号の説明】
【００５７】
１  映像信号入力端子
２  エッジ検出部
３  オーバーシュート・アンダーシュート補正部
４  最大値最小値検出部
５  ダイナミックレンジ伸張部
６  映像信号出力端子
７  映像分布波形生成部
８  映像分布波形重畳部
９  投写画像
１０  ラインマーカー
１１  小窓
１２  乗算器Ａ
１３  乗算器Ｂ
１４  乗算器Ｃ
１５  １Ｔ遅延器Ａ
１６  １Ｔ遅延器Ｂ
１７  加算器
【図１】
2009267902.tif 000003
【図２】
2009267902.tif 000004
【図３】
2009267902.tif 000005
【図４】
2009267902.tif 000006
【図５】
2009267902.tif 000007
【図６】
2009267902.tif 000008
【図７】
2009267902.tif 000009