(57)【特許請求の範囲】
【請求項１】
画像データ中の輝度信号における振幅レベルおよび周波数に基づいて前記輝度信号の平滑化を行うことで画像の輪郭を構成するストラクチャー成分を抽出すると共に、前記輝度信号から前記ストラクチャー成分を差し引くことで画像の細部を構成するテクスチャー成分を抽出するデータ分離手段と、
前記テクスチャー成分を強調するために増幅するテクスチャー増幅手段と、
前記ストラクチャー成分に対し、ストラクチャー成分の輝度レベルの最低値と最高値とを除いた中間輝度領域において補正量が正の極大となるような非直線的補正を施すと共に、前記非直線的補正として、その入出力特性の最高出力値が、入力されるストラクチャー成分の輝度レベルの最高値よりも低くなるような補正を行うストラクチャー補正手段と、
前記ストラクチャー成分とテクスチャー成分を合成して加工データを生成する合成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記非直線的補正における入出力特性は、
前記テクスチャー成分の増幅の度合いに応じて設定されている
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記非直線的補正における入出力特性は、
入力されるストラクチャー成分の輝度レベルの最高値の２０％ないし４０％の範囲内において補正量が最大となるように設定されている
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記最高出力値は、前記テクスチャー成分の増幅の度合いに応じて設定されている
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記最高出力値は、入力されるストラクチャー成分の最高値から、この最高値の２％ないし２５％の範囲内の値だけ低く設定されている
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記最高出力値は、
前記加工データの輝度レベルの最高値が、前記加工データをもとに画像出力を行う出力装置の最大許容出力値以下となるように設定されている
ことを特徴とする請求項４記載の画像処理装置。
【請求項７】
前記最高出力値は、前記加工データの輝度レベルの最高値が前記最大許容出力値と等しくなるように設定されている
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像データ中の輝度信号における振幅レベルおよび周波数に基づいて前記輝度信号の平滑化を行うことで画像の輪郭を構成するストラクチャー成分を抽出すると共に、前記輝度信号から前記ストラクチャー成分を差し引くことで画像の細部を構成するテクスチャー成分を抽出するデータ分離手段と、
前記テクスチャー成分を強調するために増幅するテクスチャー増幅手段と、
前記ストラクチャー成分に対し、ストラクチャー成分の輝度レベルの最低値と最高値とを除いた中間輝度領域において補正量が正の極大となるような非直線的補正を施すと共に、前記非直線的補正として、その入出力特性の最高出力値が、入力されるストラクチャー成分の輝度レベルの最高値よりも低くなるような補正を行うストラクチャー補正手段と、
前記ストラクチャー成分とテクスチャー成分を合成して加工データを生成する合成手段と、
前記加工データをもとに画像表示を行う表示部と
を備えたことを特徴とする画像表示装置。
【請求項９】
画像データ中の輝度信号における振幅レベルおよび周波数に基づいて前記輝度信号の平滑化を行うことで画像の輪郭を構成するストラクチャー成分を抽出すると共に、前記輝度信号から前記ストラクチャー成分を差し引くことで画像の細部を構成するテクスチャー成分を抽出し、
前記テクスチャー成分を強調するために増幅する一方で、前記ストラクチャー成分に対し、ストラクチャー成分の輝度レベルの最低値と最高値とを除いた中間輝度領域において補正量が正の極大となるような非直線的補正を施すと共に、前記非直線的補正として、その入出力特性の最高出力値が、入力されるストラクチャー成分の輝度レベルの最高値よりも低くなるような補正を行い、
前記ストラクチャー成分とテクスチャー成分を合成して加工データを生成する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号に画質補正処理を施す機能を備えた画像表示装置および画像処理装置、並びに画像処理方法に関する。
【０００２】
【従来の技術】
テレビジョン受像機，ＶＴＲ（VideoTape Recorder），デジタルカメラ，テレビジョンカメラあるいはプリンタ等の機器は、入力画像に画質補正を施してから出力する画像処理機能、例えば、明暗やコントラストの調整、輪郭補正などの機能を有している。こうした機能は、主に全体に暗くコントラストが低い画像や、細部がぼやけた画像に対して効果的に適用される。しかしながら、これらの処理を施したとしても、以下の理由により、画質は必ずしも常に向上する訳ではなかった。
【０００３】
明暗の調整は、通常、一定のゲインで画像全体の信号レベルを上下させることで行われる。よって、明るさを上げる場合には、信号全体が引き上げられるために画像内の暗い部分も明度が上がり、全体にメリハリのない画像となることがあった。また、信号レベルを上げていった結果、ディスプレイ装置の出力ダイナミックレンジを超えてしまった場合には、高輝度側（白側）の階調がつぶれてしまうために、デフォーカス（画像のぼけ）を起こすおそれがあった。
【０００４】
輪郭補正は、一般にシャープネス（sharpness ）と呼ばれ、画像中の人物や物体の縁部、輪郭線の部分のコントラストを強調し、はっきりさせる処理である。しかし、この補正を強くかけると、輪郭が十分に鮮鋭化される一方で画像が黒く縁取りされたようになり、見た目に不自然な印象を与えてしまう。これでは、本来再現されるべき画像とはいえない。こうした問題は、特に、人物の顔において起こる。人間の顔は、記憶画像として本来人間にとって鋭敏に認識される対象であるために、顔のコントラスト拡大はわずかなものであっても見る者に違和感を与えてしまう。
【０００５】
また、シャープネスにおける信号処理は、画像の輪郭に対応する信号のエッジを境に、その前後にプリシュート・オーバーシュートをそれぞれ付けるものであるが、これらの成分をあまり増幅するとノイズが目立ってくることもあった。
【０００６】
このように、各処理はそれぞれに、補正の度合いが強いときに意図とは異なった画像を生む場合があり、そのような場合、各処理を組み合わせても画質が改善される保証はなかった。
【０００７】
これに対し、近年、画像のディテールのみを強調する画質補正技術が提案されている（特許第３２３３１１４号公報、特開２００１−２９８６２１号公報など）。この技術は、画像信号から、画像の細部を表す比較的空間周波数が高い信号成分を抽出し、その振幅レベルを選択的に増幅するものである。なお、本明細書においては、画像信号において、画像中の主な輪郭に対応する成分をストラクチャー（structure ）成分と呼ぶ。また、これに対して、空間周波数がより高く、画像の細部に対応する成分をテクスチャー（texture ）成分と呼ぶ。すなわち、上記処理ではテクスチャー成分が強調される。テクスチャー成分は、例えば、人物画像における衣服の模様や影であったり、樹木の葉が密生した部分であったりする。
【０００８】
図１１は、このテクスチャー強調処理の手順を、信号の振幅特性の変化で示したものである。まず、画像信号２１０を、ストラクチャー成分Ｓ２１０とテクスチャー成分Ｔ２１０に分離する。次に、テクスチャー成分Ｔ２１０のみ増幅して信号Ｔ２１１とする。さらに、この信号Ｔ２１１をストラクチャー成分Ｓ２１０に加算して、画像信号２２０を合成する。この処理によれば、ぼけがちな細部はくっきりするが全体の輪郭は強調されないので、コントラストや鮮鋭度を向上させつつも、シャープネスとは異なって自然な印象の画像が得られる。また、異なる照明条件下で得られた画像同士を合成する際に、それぞれのコントラスト成分の違いのみを補正でき、より自然な合成画像を生成することができる。
【０００９】
【発明が解決しようとする課題】
ところが、この処理においては、テクスチャー成分Ｔ２１１の増幅分によって、合成後の画像信号２２０の最低値または最高値がディスプレイ装置の出力ダイナミックレンジを超えてしまう可能性があった。そうなると、出力された画像は、信号値が低輝度側（黒側）で飽和して起きる黒づまり、もしくは、高輝度側（白側）で飽和して起きる白づまりの状態を呈することになる。
【００１０】
また、低輝度側にあるテクスチャー成分Ｔ２１１が大きく増幅されると、細部が不自然に強調された画像として見る者に違和感を与える可能性があった。特に、人物の顔では、目鼻などが黒く縁取られたようになるおそれもあった。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、部分的なコントラスト低下を改善することが可能な画像表示装置および画像処理装置、並びに画像処理方法を提供することにある。本発明の第２の目的は、良好なコントラストバランスを与える画像補正が可能な画像表示装置および画像処理装置、並びに画像処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、画画像データ中の輝度信号における振幅レベルおよび周波数に基づいて輝度信号の平滑化を行うことで画像の輪郭を構成するストラクチャー成分を抽出すると共に、輝度信号からストラクチャー成分を差し引くことで画像の細部を構成するテクスチャー成分を抽出するデータ分離手段と、テクスチャー成分を強調するために増幅するテクスチャー増幅手段と、ストラクチャー成分に対し、ストラクチャー成分の輝度レベルの最低値と最高値とを除いた中間輝度領域において補正量が正の極大となるような非直線的補正を施すと共に、非直線的補正として、その入出力特性の最高出力値が、入力されるストラクチャー成分の輝度レベルの最高値よりも低くなるような補正を行うストラクチャー補正手段と、ストラクチャー成分とテクスチャー成分を合成して加工データを生成する合成手段とを備えたものである。
【００１３】
本発明の画像表示装置は、本発明の画像処理装置を含み、さらに、加工データをもとに画像表示を行う表示部を備えたものである。
【００１４】
本発明の画像処理方法は、画像データ中の輝度信号における振幅レベルおよび周波数に基づいて輝度信号の平滑化を行うことで画像の輪郭を構成するストラクチャー成分を抽出すると共に、輝度信号からストラクチャー成分を差し引くことで画像の細部を構成するテクスチャー成分を抽出し、テクスチャー成分を強調するために増幅する一方で、ストラクチャー成分に対し、ストラクチャー成分の輝度レベルの最低値と最高値とを除いた中間輝度領域において補正量が正の極大となるような非直線的補正を施すと共に、非直線的補正として、その入出力特性の最高出力値が、入力されるストラクチャー成分の輝度レベルの最高値よりも低くなるような補正を行い、ストラクチャー成分とテクスチャー成分を合成して加工データを生成するものである。
【００１５】
本発明の画像表示装置および画像処理装置、並びに画像処理方法では、ストラクチャー成分に対し、輝度レベルの最低値と最高値とを除いた中間輝度領域において補正量が正の極大となるような非直線的補正が施される。その際、ストラクチャー成分は低輝度側の振幅が持ち上がるように増幅され、このストラクチャー成分と増幅したテクスチャー成分とを合成して得られる加工データでは、輝度レンジが出力ダイナミックレンジを超えることが回避される。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
図１は、本発明の一実施の形態に係る画像表示装置の全体構成を示している。この画像表示装置は、画像の輪郭を構成するストラクチャー成分とその細部を構成するテクスチャー成分からなる画像データを、テクスチャー成分を強調するように加工するための画像処理部と、得られる加工データをもとに画像表示を行うディスプレイ部とから構成されている。なお、信号上では、ストラクチャー成分は、エッジを含む平均振幅成分（信号全体における振幅変動の傾向を表す成分）に相当し、テクスチャー成分はそれ以外の比較的高い周波数で小振幅である成分に相当する。
【００１８】
< 画像表示装置の全体の構成>
まず、この画像表示装置の全体構成について説明する。入力される画像信号は、テレビ信号のほか、ＶＣＲ（VideoCassette Recorder）やＤＶＤ（Digital Versatile Disc）等の出力であってよい。このように複数種の媒体から画像情報を取り込み、各自について画面表示を行うことは、近年のテレビジョンやパーソナルコンピュータ（ＰＣ）においては一般的になってきている。これらの画像信号は、通常の処理によってＹＵＶ信号にまで復調されるようになっている。
【００１９】
チューナ１０１は、テレビ信号を受信し、復調してコンポジット信号（ＣＶＢＳ；Composite Video Burst Signal）とし、これを出力するようになっている。Ｙ／Ｃ分離回路１０２は、チューナ１０１からの復調信号、またはＶＣＲやＤＶＤ１からのコンポジット信号が入力され、コンポジット信号をそれぞれ輝度信号Ｙ1 ，色信号Ｃ1 に分離して出力するようになっている。クロマデコーダ１０３は、Ｙ／Ｃ分離回路１０２から輝度信号Ｙ1 と色信号Ｃ1 とが入力され、ＹＵＶ信号Ｙ1 Ｕ1 Ｖ1 として出力するようになっている。スイッチ１０４は、複数種の媒体からのＹＵＶ信号（ここではＹＵＶ信号Ｙ1 Ｕ1 Ｖ1 、および、ＤＶＤ２からのＹＵＶ信号Ｙ2 Ｕ2 Ｖ2 ）が入力され、出力を切り換えることにより選択した信号をＹＵＶ信号ＹIN，ＵIN，ＶINとして出力するようになっている。
【００２０】
テクスチャー強調部１００，遅延回路５０，クロマアンプ６０では、後に詳述するテクスチャー強調に関する処理が行われる。テクスチャー強調部１００は、入力される輝度信号ＹINに対しテクスチャー強調処理を施し、輝度信号ＹOUT としてマトリクス回路１０５に出力するものである。また、遅延回路５０は、色差信号ＵIN，ＶINに対して遅延をかけ、テクスチャー強調部１００において生成される輝度信号ＹOUT と同期をとって出力する機能を有している。クロマアンプ６０は、入力される色差信号ＵIN，ＶINに（ＹIN／ＹOUT ）の比を乗じ、Ｙ／Ｃ比（Ｃ；色差信号Ｕ，Ｖの双方を指す）をテクスチャー強調処理の前後で保つようにして色差信号ＵOUT ，ＶOUT を生成・出力する機能を有している。これら色差信号ＵOUT ，ＶOUT は、マトリクス回路１０５に出力される。
【００２１】
なお、ＹＵＶ信号は２次元ディジタル画像の画像データであり、画像上の位置に対応する画素値の集合である。そのうち、輝度信号Ｙは輝度レベルを表現し、白１００％である白レベルと、黒１００％である黒レベルとの間の振幅値をとる。なお、画像信号の白１００％は、ＩＲＥ（Institute of Radio Engineers）という画像信号の相対的な比を表す単位において、１００（ＩＲＥ）と定められている。日本のＮＴＳＣ信号の規格では、白レベルが１００ＩＲＥ，黒レベルが０ＩＲＥである。それゆえ、以下の説明では、輝度信号Ｙが、黒を表す最低値（０ＩＲＥ）またはその近傍の値をとることを「黒側」、白を表す最大値（１００ＩＲＥ）またはその近傍の値をとることを「白側」という。また、色差信号Ｕ，Ｖはそれぞれ、青（Ｂ；Blue）から輝度信号Ｙを引いた信号Ｂ−Ｙ、赤（Ｒ；Red ）から輝度信号Ｙを引いた信号Ｒ−Ｙに対応しており、これらＵ信号，Ｖ信号を輝度信号Ｙと組み合わせることによって色（色相，彩度，輝度）が表現される。
【００２２】
マトリクス回路１０５は、テクスチャー強調処理後のＹＵＶ信号ＹOUT ，ＵOUT ，ＶOUT が入力され、これらをＲＧＢ信号に再生・出力するようになっている。ドライバ１０６は、マトリクス回路１０５からＲＧＢ信号が入力され、ディスプレイ１０７の駆動信号を生成・出力するようになっている。ディスプレイ１０７は、ドライバ１０６から駆動信号が入力され、駆動信号に応じて画像表示を行うようになっている。ディスプレイ１０７は、どのような種類のディスプレイデバイスであってもよく、ＣＲＴ（Cathode-Ray Tube）や、ＰＤＰ（Plasma Display Panel），ＬＣＤ（Liquid Crystal Display）等が用いられる。
【００２３】
＜テクスチャー強調部の構成＞
次に、この画像表示装置のうち、テクスチャー強調部１００の構成と機能について、より詳細に説明する。テクスチャー強調部１００は、Ｓ／Ｔ分離回路１０，テクスチャー増幅回路２０，ストラクチャー補正回路３０および加算器４０により構成されている。
【００２４】
このテクスチャー強調部１００では、図２に示したような処理が行われる。すなわち、入力される輝度信号ＹINは、Ｓ／Ｔ分離回路１０により画像の輪郭を構成するストラクチャー成分Ｓ１と、画像の細部を構成するテクスチャー成分Ｔ１とに分離される。テクスチャー成分Ｔ１は、テクスチャー増幅回路２０により増幅されてテクスチャー成分Ｔ２となる。
【００２５】
その一方で、本実施の形態では、ストラクチャー成分Ｓ１は、ストラクチャー補正回路３０により、低域側（黒側）が持ち上がると共に高域側（白側）が抑えられるように振幅が補正され、ストラクチャー成分Ｓ２となる。
【００２６】
さらに、ストラクチャー成分Ｓ２，テクスチャー成分Ｔ２は、加算器４０により加算されて輝度信号ＹOUT となる。その際には、補正が施されたストラクチャー成分Ｓ２にテクスチャー成分Ｔ２が重畳される格好となり、輝度信号ＹOUT の振幅拡大は抑えられる。
【００２７】
図３は、Ｓ／Ｔ分離回路の構成を示すブロック図である。Ｓ／Ｔ分離回路１０は、レベル判定手段１１，周波数判定手段１２，フィルタ特性決定手段１３，非線形フィルタ１４および減算器１５により構成されている。レベル判定手段１１，周波数判定手段１２は、それぞれ、輝度信号ＹINの振幅レベルおよび周波数の変動範囲を判定し、フィルタ特性決定手段１３に判定結果を出力する。フィルタ特性決定手段１３は、この判定結果に応じて、非線形フィルタ１４の振幅レベルおよび周波数の閾値を決定する。非線形フィルタ１４は、フィルタ特性決定手段１３によって決められたフィルタ特性で輝度信号ＹINに平滑化を行い、ストラクチャー成分Ｓ１を抽出する。減算器１５は、元の輝度信号ＹINからストラクチャー成分Ｓ１を差し引くことでテクスチャー成分Ｔ１を抽出する。
【００２８】
非線形フィルタ１４は、通常用いられる線形ローパスフィルタとは異なり、輝度信号ＹINの振幅レベルと周波数の双方を加味した非線形のフィルタであって、画像の輪郭を構成するストラクチャー成分Ｓ１が、それ以外の成分から峻別されるようになっている。より具体的には、輝度信号ＹINのうち振幅変動が急峻なエッジ成分はそのまま保存し、エッジ成分以外の小振幅成分に対して平滑化を行うようになっている（特開２００１−２９８６２１号公報を参照）。非線形フィルタ１４は、２次元の非線形フィルタもしくは画像の水平方向と垂直方向それぞれに適用される１次元の非線形フィルタとして構成され、フィルタリングの中心画素に対し、画素値（振幅）の差の絶対値が所定の閾値ε以下に収まっている周辺画素の画素値はそのまま適用するが、画素値の絶対値の差が閾値εよりも大きければ、そこをエッジと判断し、周辺画素の画素値の代わりに中心画素の画素値を用いることで周辺画素の影響を排除してから平滑化を行う。
【００２９】
ただし、実際の画像では、振幅変動が大きい部分が必ずしも画像上の輪郭線であるとは限らず、逆に、振幅変動が小さくとも輪郭線である場合がある。そのため、ここでは、振幅レベルだけでなく周波数からの情報を合わせて平滑化を行うことで、ストラクチャー成分Ｓ１の抽出の確度を上げるようにしている。
【００３０】
なお、この非線形フィルタ１４は、ストラクチャー成分Ｓ１としてエッジ以外の部分では出来るだけ変化が少ない信号を得ることが望ましいが、そのためには、空間的に広い範囲をカバーできるフィルタとすることが必要となる。例えば、輝度信号ＹINが水平有効画素７２０ドット，垂直走査ライン２８８本に相当するデータであれば、両方向に１／４である（１８０画素×７２画素）程度の大きさのフィルタを用いるとよい。
【００３１】
図４は、Ｓ／Ｔ分離回路に続くテクスチャー強調部の後段を示すブロック図である。テクスチャー増幅回路２０は、Ｓ／Ｔ分離回路１０から出力されるテクスチャー成分Ｔ１を、外部入力されるエンハンスゲインＴＥに応じて増幅する増幅器であり、テクスチャー成分Ｔ２を生成・出力する。なお、実際のエンハンスゲインＴＥの値は、１〜２の間の値とするのが適当である。通常の使用では、その値は例えば１．３〜１．４程度とされるが、それ以上ではテクスチャー強調の効果が強く現れる。エンハンスゲインＴＥの値が２以上となると、テクスチャー成分が強調され過ぎて違和感を与えるようになってくる。
【００３２】
また、ストラクチャー補正回路３０は、ガンマ曲線生成回路３１，ゲイン調整回路３２，遅延回路３３および加算器３４からなる。このストラクチャー補正回路３０は、Ｓ／Ｔ分離回路１０から入力されるストラクチャー成分Ｓ１に対し、（１）ストラクチャー成分Ｓ１の輝度レベルの最低値と最高値を除いた中間輝度領域において補正量が正の極大となるような非直線的補正、および（２）輝度レベルの最高値を低減する補正を同時に施すものである。なお、本実施の形態では、上記非直線的補正を便宜的にガンマ補正と呼称する。
【００３３】
ガンマ曲線生成回路３１は、図５に示したように、予め基準となるガンマ特性３１Ａを保持しており、これからストラクチャーＳ１を差し引いてガンマ補正の補正量であるガンマ曲線γ0 を求め、ゲイン調整回路３２に出力するようになっている。このガンマ特性３１Ａのガンマ値は、例えば、０．５ないし０．７（入力値をＸ，出力値をＹとしたときの入出力特性がＹ＝Ｘ0.5 ないしＹ＝Ｘ0.7 ）とするとよい。またここでは、ガンマ特性３１Ａは、白側のレンジが下がった出力が得られるよう、最高出力値が、入力されるストラクチャー成分Ｓ１の最高値よりもオフセット値ΔＹだけ低く設定されている。
【００３４】
さらに、このガンマ特性３１Ａは、入力信号レベルの２０〜４０（ＩＲＥ）の範囲内にピーク（入力信号との差、すなわち補正量が最大となる振幅出力）Ｐを有している。人間の顔の輪郭や影の部分の黒は、振幅レベルでは、ほぼ２０〜４０（ＩＲＥ）に相当する。したがって、このように２０〜４０（ＩＲＥ）の範囲内の振幅レベルを持ち上げるように補正することで、人間の顔の輪郭や影の部分に対する強調効果を和らげ、顔に対し違和感を生じないようにすることができる。このように、最高値に対してオフセット値ΔＹがあり、２０〜４０（ＩＲＥ）にピークＰをもつという特徴は、生成されるガンマ曲線γ0 に受け継がれる。
【００３５】
ゲイン調整回路３２は、ガンマ曲線γ0 のゲインＧを加減して調整する増幅器として構成されている。図６は、その調整の様子を示している。ガンマ曲線γ0 は、ゲインＧを上げると（Ｇ＞１）、ガンマ曲線γ1 のように変化し、ゲインＧを下げると（０＜Ｇ＜１）、ガンマ曲線γ2 のように変化する。これにより、ガンマ曲線γ0 は、ピークＰ側への曲がり具合とオフセット値ΔＹの値が同時に調整される。オフセット値ΔＹは、例えば、入力側の最大振幅値に対して２〜２５％の範囲で選択される。
【００３６】
ここで、ゲイン調整回路３２は、ゲインＧをエンハンスゲインＴＥに応じて加減するようになっている。エンハンスゲインＴＥが大きいほどテクスチャー成分Ｔ２の振幅は大きくなる。ストラクチャー成分Ｓ２は、ダイナミックレンジに対して黒側および白側で飽和しないよう、エンハンスゲインＴＥに応じて黒側の特性は大きく曲げられねばならないし、白側の特性は低く抑えられねばならない。したがって、この場合にはゲインＧが大きくなるように調整され、γ1 型のガンマ曲線が得られる。逆に、エンハンスゲインＴＥが小さい場合には、テクスチャー成分Ｔ２の振幅増大はさほど考慮する必要がないので、ゲインＧはあまり変える必要はない。よって、この場合には、その増幅の度合いに応じてゲインＧが小さくなるように調整され、γ2 型のガンマ曲線が得られる。
【００３７】
本実施の形態では、ゲイン調整回路３２はさらに、ゲインＧをドライブゲインＤに応じて加減するようになっている。前述のように、ドライバ１０６は、輝度階調に応じた電圧値の駆動信号を生成する。しかしながら、通常の画像表示装置では、駆動信号のダイナミックレンジは可変であり、ダイナミックレンジの高輝度側（白側）にオフセットを付けて実効的な駆動電圧を加減することにより、画像の明るさが調整されるようになっている。このダイナミックレンジに対するゲインが、ドライブゲインＤである。すなわち、ここでは、エンハンスゲインＴＥとドライブゲインＤの２つの要素が同時に考慮されてガンマ曲線γ0 のゲインＧが決定される。
【００３８】
ドライブゲインＤが大きいことは、高圧で駆動されることを意味する。このときの白側は、輝度がひときわ高くなるために、人間の目の特性上、階調がとれなくなってくる。そのような状態では、いくらテクスチャー成分を強調しても効果的な画質改善は望めない。こうした場合、階調を視認できるレベルまでストラクチャー成分Ｓ２の振幅を下げるようにすれば、強調されたテクスチャー成分Ｔ２を十分に認めることができる。したがって、ドライブゲインＤが大きい場合には、ゲインＧは大きくなるように調整される。また、その場合にエンハンスゲインＴＥが大きければ、一層ゲインＧは大きくする必要がある。
【００３９】
逆に、ドライブゲインＤが小さくなれば、このような問題が生じないのでストラクチャー成分Ｓ２を補正する必要はなく、ゲインＧは小さく選ばれる。ただし、エンハンスゲインＴＥも小さければゲインＧは小さいままでよいが、エンハンスゲインＴＥが大きければ、ゲインＧはエンハンスゲインＴＥに応じて大きくする必要がある。
【００４０】
なお、ドライブゲインＤは連続的に可変であるが、一般的には、画質モードに対応して予め数段階に設定されており、そのうちの１つが外部から選択されるようになっている。具体例としては、ダイナミックモード（Ｄ＝１００％）、スタンダードモード（Ｄ＝８０〜９０％）、ソフトモード（Ｄ＝５０％）などと設定される。ダイナミックモードやスタンダードモードでは、ディスプレイ１０７をフルレンジに対し１００％〜８０％の電圧で駆動させる。このようにドライブレベル上限近くで駆動させるほど輝度は高くなるが、ディスプレイ１０７上で視認される輝度は白側で飽和したようになり、白側の階調はあまりとれなくなってくる。これに対して、ソフトモードでは、フルレンジをダイナミックモード時の５０％の電圧で駆動するので、輝度は多少低くなるが適正な階調表現がなされる。よって、ダイナミックモードやスタンダードモードのように、ドライブゲインＤが大きな画質モードほど、高輝度側の特性を確保するために最終的に得られる輝度信号の白レベルを下げる必要がある。よって、ゲインＧを大きくして、ガンマ曲線γ0 のオフセットΔＹを大きくとるようにする。
【００４１】
なお、ゲインＧは、最終的にドライバ１０６における駆動信号の振幅がダイナミックレンジいっぱいとなるような値に選ばれるのが好ましい。ただし、ディスプレイ１０７がＣＲＴである場合には、管面に表示される画像の輝度のうち高周波成分が高輝度側で大幅に低下する傾向があるため、駆動信号の振幅レベルを、ダイナミックレンジぎりぎりではなく、さらに少し下げるようにゲインＧを調整する。このように、ゲインＧはディスプレイ１０７の種類によっても加減され、例えば、エンハンスゲインＴＥが１．７であるときには、ディスプレイ１０７がＬＣＤであればゲインＧは９５％前後、ＣＲＴであれば９０％前後とされる。
【００４２】
ゲイン調整回路３２では、以上のようにして得られたゲインＧによって、ガンマ曲線γ0 の補正量が調整される。
【００４３】
遅延回路３３は、入力されるストラクチャー成分Ｓ１に遅延をかけ、ガンマ曲線生成回路３１，ゲイン調整回路３２において生成されるガンマ曲線γ0 と同期をとって出力する。加算器３４は、入力されるストラクチャー成分Ｓ１とガンマ曲線γ0 とを加算し、ストラクチャー成分Ｓ２を生成・出力する。
【００４４】
ストラクチャー成分Ｓ２は、さらに加算器４０によりテクスチャー成分Ｔ２と加算される。これにより、テクスチャー成分が強調されると共にストラクチャー成分が補正された輝度信号ＹOUT が生成される。
【００４５】
次に、本実施の形態に係る画像表示装置の動作について図１〜図６を参照して説明する。
【００４６】
まず、入力される画像信号がＹＵＶ信号に復調される。テレビ信号は、チューナ１０１で復調されてコンポジット信号となるが、ＶＣＲやＤＶＤ１からは直接コンポジット信号が入力される。これらのコンポジット信号は、Ｙ／Ｃ分離回路１０２において輝度信号Ｙ1 と色信号Ｃ1 に分離され、クロマデコーダ１０３においてＹＵＶ信号Ｙ1 Ｕ1 Ｖ1 にデコードされる。また、ＤＶＤ２からは、ＹＵＶ信号Ｙ2 Ｕ2 Ｖ2 が入力されるものとされ、どの画像信号を用いるかをスイッチ１０４が選択する。
【００４７】
スイッチ１０４により選択されたＹＵＶ信号のうち、輝度信号ＹINはテクスチャー強調部１００に、色差信号ＵIN，ＶINは遅延回路５０，クロマアンプ６０に入力され、ここでテクスチャー強調に関する処理が行われる。
【００４８】
テクスチャー強調部１００では、輝度信号ＹINは、まずＳ／Ｔ分離回路１０に入力される（図３）。
【００４９】
Ｓ／Ｔ分離回路１０では、レベル判定手段１１，周波数判定手段１２に輝度信号ＹINが入力され、それぞれが輝度信号ＹINの振幅レベルおよび周波数の変動範囲を判定し、判定結果をフィルタ特性決定手段１３に出力する。フィルタ特性決定手段１３は、この判定結果に応じて非線形フィルタ１４の振幅レベルおよび周波数の閾値を決定し、非線形フィルタ１４に出力する。非線形フィルタ１４は、フィルタ特性決定手段１３に与えられたフィルタ特性に基づいて輝度信号ＹINに平滑化を施し、ストラクチャー成分Ｓ１を抽出する。ここで得られたストラクチャー成分Ｓ１は、エッジ部分はそのまま保存され、それ以外の部分のみ平滑化された画像データとなっている。すなわち、画像のなかの輪郭線等の大まかな構成を表すデータである。
【００５０】
また、減算器１５は、輝度信号ＹINからストラクチャー成分Ｓ１を差し引くことでテクスチャー成分Ｔ１を抽出する。得られたテクスチャー成分Ｔ１は、元信号からストラクチャー成分Ｓ１を除いた小振幅成分となっており、画像の中の細部、例えば衣服の模様などの細かな起伏に相当するデータである。この結果、Ｓ／Ｔ分離回路１０からストラクチャー成分Ｓ１およびテクスチャー成分Ｔ１が生成・出力される。
【００５１】
このうち、テクスチャー成分Ｔ１は、テクスチャー増幅回路２０に入力される。テクスチャー増幅回路２０にはエンハンスゲインＴＥが外部入力され、テクスチャー成分Ｔ１はこのエンハンスゲインＴＥに応じて増幅され、テクスチャー成分Ｔ２となる（図２，図４）。このテクスチャー成分Ｔ２は、加算器４０に出力される。
【００５２】
一方、ストラクチャー成分Ｓ１は、ストラクチャー補正回路３０に入力され、以下の補正を施されることによりストラクチャー成分Ｓ２として出力される（図４）。まず、ストラクチャー成分Ｓ１を、遅延回路３３およびガンマ曲線生成回路３１にそれぞれ入力する。遅延回路３３は、ストラクチャー成分Ｓ１に遅延をかけ、加算器３４に出力する。
【００５３】
ガンマ曲線生成回路３１は、ストラクチャー成分Ｓ１をガンマ特性３１Ａから減算することでガンマ補正の補正量であるガンマ曲線γ0 を求め、ゲイン調整回路３２に出力する（図５）。ここでは、ガンマ曲線γ0 は、以下の特徴と備えたものとなっている。（１）ガンマ値が選ばれることで黒側が持ち上がるような曲線となっている（２）入力信号の２０〜４０（ＩＲＥ）の範囲内に曲線のピークＰを有する（３）最高出力値が最高入力値に対しオフセット値ΔＹだけ低く設定されている。
【００５４】
ゲイン調整回路３２は、入力されたガンマ曲線γ0 に対し、そのゲイン（ゲインＧ）を加減する（図４，図６）。ここでは、ゲイン調整回路３２にはエンハンスゲインＴＥおよびドライブゲインＤが入力され、両者の兼ね合いによってゲインＧに強弱がつけられる。これにより、ゲインＧは、テクスチャー成分Ｔ１の増幅の度合い、さらにはドライバ１０６側の信号制御、ディスプレイ１０７自体の特性等の画質に関わる条件を考慮した値となる。このゲインＧにより、ガンマ曲線γ0 の特性は、合成後の輝度信号ＹOUT の振幅レンジがダイナミックレンジ内に収まるように設定される。ここでは、輝度信号ＹOUT の振幅レンジがダイナミックレンジいっぱいに収まるようにゲインＧを加減し、ガンマ曲線γ0 を調整するものとする。このガンマ曲線γ0 を、加算器３４に出力する。
【００５５】
加算器３４には、ガンマ曲線γ0 と、先に遅延回路３３を通して同期を取ったストラクチャー成分Ｓ１とが入力される。加算器３４はストラクチャー成分Ｓ１にガンマ曲線γ0 を加算し、いわゆるガンマ補正を行う。このガンマ補正では、黒側の振幅レベルが持ち上がるように増幅されてコントラストが補正されるだけでなく、オフセットΔＹにより白側の振幅レベルが低減される。また、２０〜４０（ＩＲＥ）の範囲内の輝度領域にピークを持たせ、振幅を持ち上げるような補正が施される。このように、ストラクチャー成分Ｓ１に上述したガンマ曲線γ0 の特性が付与され、ストラクチャー成分Ｓ２が生成される（図２）。このストラクチャー成分Ｓ２は、加算器４０に出力される。
【００５６】
加算器４０には、ストラクチャー成分Ｓ２とテクスチャー成分Ｔ２が入力され、両者を加算して輝度信号ＹOUT を生成する。ストラクチャー成分Ｓ２は、エンハンスゲインＴＥとドライブゲインＤを参照したガンマ補正によって黒側が持ち上げられているので、テクスチャー成分Ｔ２を加算した後の最小振幅レベルは、ダイナミックレンジいっぱいになる。また、白側の振幅レベルがエンハンスゲインＴＥとドライブゲインＤを参照して低減されているので、テクスチャー成分Ｔ２を加算した後の最大振幅レベルは、ダイナミックレンジいっぱいになる。したがって、輝度信号ＹOUT は、テクスチャー強調処理がなされていると同時に、ドライバ１０６の駆動信号のダイナミックレンジ内にちょうど収まるようになっている。
【００５７】
また、色差信号ＵIN，ＶINに対しては、遅延回路５０により輝度信号ＹOUT の処理にかかる時間だけ遅延させ、クロマアンプ６０によりＹOUT ／ＹINを乗じて輝度信号ＹOUT の増幅分だけ増幅して、Ｙ／Ｃ比がテクスチャー強調処理の前後で保たれるように色差信号ＵOUT ，ＶOUT を生成する。
【００５８】
輝度信号ＹOUT および色差信号ＵOUT ，ＶOUT は、マトリクス回路１０５に入力される。マトリクス回路１０５は、これらのＹＵＶ信号からＲＧＢ信号を再生し、ドライバ１０６に出力する。ドライバ１０６は、入力されるＲＧＢ信号を増幅し、輝度階調に応じた電圧値の駆動信号を生成し、ディスプレイ１０７に出力してこれを駆動させる。ディスプレイ１０７は、入力される駆動信号に応じた画像を表示する。
【００５９】
その際、元信号である輝度信号ＹOUT のストラクチャー成分補正により、駆動信号は白側、黒側ともダイナミックレンジ内に収まったものとなる。よって、黒づまりや白づまりの現象が防止される。しかも、ここでは、駆動信号はダイナミックレンジいっぱいに駆動されるようになっており、必要以上に画像が暗くなるのを防いでいる。なお、上述したように、輝度信号ＹOUT には、ドライバ１０６側での信号制御、ディスプレイ１０７自体の特性等の画質に関わる条件を考慮してストラクチャー成分補正がなされているので、これに基づく駆動信号は、適正なコントラスト配分で表示を行うようになっている。
【００６０】
また、輝度信号ＹOUT では、２０〜４０（ＩＲＥ）の範囲内にピークを有するように低輝度領域の振幅を持ち上げるような補正がなされているので、これに基づく駆動信号においても、この輝度領域の振幅が持ち上がったものとなる。よって、ちょうど人物の顔の輪郭や影に相当する黒色が明るく補正され、この範囲のテクスチャー成分増幅の効果が緩和される。
【００６１】
したがって、ディスプレイ１０７に表示される画像では、黒づまりや白づまりの現象が防止され、テクスチャー強調処理による効果、すなわち細部のコントラスト向上により、鮮鋭であるにも関わらず自然な印象を与えるという効果が遺憾なく発揮される。また、ストラクチャー成分の補正により全体のコントラストバランスが調整されているため、細部のコントラスト向上を明るい部分でもはっきりと視認することができ、テクスチャー強調が一層有効なものとなる。さらに、テクスチャー強調処理によって人物の顔の輪郭や影の部分が黒く強調されてしまうことが緩和され、画質を落とすことがないようになっている。
【００６２】
以上説明したように本実施の形態によれば、テクスチャー強調処理を行う画像表示装置において、ストラクチャー補正回路３０を設け、ストラクチャー成分Ｓ１に対して黒側が持ち上がるようなガンマ補正と白側のレベルダウン補正を行うようにしたので、テクスチャー成分が増幅された輝度信号ＹOUT の振幅レンジが上下で抑えられる。よって、輝度信号ＹOUT の振幅レンジがダイナミックレンジを超えることが回避され、黒づまり、白づまりの現象を抑制することができる。特に、この補正には、オフセットΔＹを有するガンマ曲線γ0 を用いるようにしたので、ストラクチャー成分Ｓ１に対するガンマ補正と振幅レベル低減とを同時に行うことができる。
【００６３】
また、ストラクチャー成分Ｓ１の補正をエンハンスゲインＴＥを参照して行うようにしたので、テクスチャーＴ１の増幅の度合いに応じて、輝度信号ＹOUT を元にした駆動信号の振幅レンジをダイナミックレンジ内に収めることができる。これにより、黒づまり、白づまりが適正に防止される。また、駆動信号の振幅レンジをダイナミックレンジいっぱいに制御することも可能である。
【００６４】
さらに、ここでは、ストラクチャー成分Ｓ１の補正をドライブゲインＤを参照して行うようにしたので、ドライバ１０６側での信号制御や、ディスプレイ１０７自体の特性等に応じ、実効的なコントラスト制御が可能となる。よって、テクスチャー強調の効果を一層上げることができる。
【００６５】
また、ストラクチャー成分Ｓ１に対して、２０〜４０（ＩＲＥ）の範囲内にピークＰをもつようにガンマ補正を施すようにしたので、テクスチャー強調処理により、人物の顔の輪郭や影の部分が強調されることを回避して表示することができる。よって、記憶画像である顔の表情に違和感を与えることが防止される。
【００６６】
［変形例］
次に、図４に示したストラクチャー補正回路３０に対する変形例について説明する。図７は、本変形例に係るストラクチャー補正回路を示している。この場合、補正に用いるガンマ曲線はエンハンスゲインＴＥとドライブゲインＤとに対応させていくつか用意され、予めルックアップテーブル（ＬＵＴ）３５に格納されている。ＬＵＴ３５にはエンハンスゲインＴＥ，ドライブゲインＤが入力され、それらの値に応じたガンマ曲線がスイッチ回路により選択され、出力される。
【００６７】
ＬＵＴ３５は、例えば、図８のようなマトリクスとしてガンマ曲線を格納している。ここでは、一例としてエンハンスゲインＴＥ，ドライブゲインＤは共に３段階としており、計９種類のガンマ曲線▲１▼〜▲９▼が格納されている。既に説明したとおり、エンハンスゲインＴＥに対しては、値が大きいほど（弱→中→強の方向に）ガンマ曲線は強い補正効果をもつように設定される。すなわち、ガンマ値は大きく、白側のオフセット値ΔＹは大きく設定される。ドライブゲインＤに対しては、実際にドライブさせるダイナミックレンジが大きくなるほど、高輝度側の階調を確保するために、ガンマ曲線は強い補正効果をもつように設定される。そこで、ガンマ曲線の補正強度は、▲１▼が最も高く、次いで▲２▼，▲４▼、さらに▲３▼，▲５▼，▲７▼、…としてよい。そのとき、単純に▲２▼＝▲４▼、▲３▼＝▲５▼＝▲７▼、…としてもよいが、各自に重み付けを施すこともできる。
【００６８】
また、上記実施の形態では、ガンマ曲線γ0 の調整を、エンハンスゲインＴＥ，ドライブゲインＤの２つの条件を組み合わせて行うようにしたが、エンハンスゲインＴＥだけを参照して行うようにしてもよい。これをルックアップテーブルを用いて行う場合、ＬＵＴ３５は、図９のようなテーブルにガンマ曲線を格納している。
【００６９】
なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、ストラクチャー補正に用いるガンマ曲線の設定は、上記実施の形態に限定されず、そのほかの種々の方法によって行うことができる。また、通常の意味で用いられるガンマ補正における入力特性はＹ＝Ｘγと表されるが、本発明のストラクチャー補正においては、このような入力値の巾乗に従う特性だけでなく、そのほかの非直線的な特性を適用しても構わない。
【００７０】
その場合の非直線的特性には、入力特性が一定の関数に従うものでない場合も、当然含まれている。例えば、図１０に示した方法では、ガンマ曲線γ0 を、入力に対してピークＰと白レベルの位置に支点を持つような折れ線として近似しておき、これによりストラクチャー成分Ｓ１を補正してストラクチャー成分Ｓ１１とする。次いで、ストラクチャー成分Ｓ１１にロウパスフィルタをかけて平滑化する。これにより、曲線状のストラクチャー成分Ｓ２が得られる。
【００７１】
また、上記実施の形態では、本発明の画像処理方法に係るＳ／Ｔ分離、テクスチャー強調およびストラクチャー補正の各動作を回路によって行うものとしたが、これらをソフトウエア上で実現させてもよい。
【００７２】
さらに、上記実施の形態では画像表示装置について説明したが、本発明の画像処理装置は、画像表示機能を有する装置に限定されず、画像処理を行うそのほかの装置全般に適用が可能である。そのような装置としては、テレビジョンカメラ、ＶＴＲ、プリンタ等がある。
【００７３】
【発明の効果】
以上説明したように、請求項１ないし７のいずれか１項に記載の画像処理装置、または請求項８記載の画像表示装置、または請求項９記載の画像処理方法によれば、ストラクチャー成分に対して、黒側の振幅レベルを増幅させるようなガンマ補正が施されるようにしたので、補正後のストラクチャー成分と、増幅されたテクスチャー成分とを合成して得られる加工データでは、コントラストバランスが調整されると同時に、結果として最低輝度近傍、すなわち黒側での平均輝度レベルが上昇する。そのため、テクスチャー強調処理を行うことが原因で出力画像に黒づまりを生じることを回避することができる。したがって、テクスチャー強調画像において、安定した画質向上と黒側でのコントラスト低下の改善を図ることが可能となる。
また、ストラクチャー補正における入出力特性を、最高出力値が、入力されるストラクチャー成分の輝度レベルの最高値よりも低くなるように設定するようにしたので、結果として加工データの最高輝度近傍、すなわち白側のレンジが抑えられる。よって、黒づまりと同時に白づまりもまた防止され、白側でのコントラスト低下の改善、および一層の画質向上を図ることが可能となる。
【００７４】
特に、請求項３記載の画像処理装置によれば、請求項１記載の画像処理装置において、ストラクチャー補正における入出力特性を、入力されるストラクチャー成分の輝度レベルの最高値の２０％ないし４０％の範囲内において補正量が最大となるように設定するようにしたので、ちょうど人物の顔の輪郭や影に相当する黒色が明るく補正され、この範囲のテクスチャー成分増幅の効果が緩和される。よって、記憶画像である顔の表情に違和感を与えるような極端な画像補正を回避することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像表示装置の全体構成を示す回路ブロック図である。
【図２】図１に示した画像表示装置におけるテクスチャー強調部の作用を説明するための図である。
【図３】図１に示した画像表示装置におけるＳ／Ｔ分離回路の具体的な構成を示す回路ブロック図である。
【図４】図１に示した画像表示装置におけるストラクチャー補正回路およびテクスチャー増幅回路の具体的な構成を示す回路ブロック図である。
【図５】図４に示したストラクチャー補正回路におけるガンマ曲線生成回路の作用を説明するための図である。
【図６】図４に示したストラクチャー補正回路におけるゲイン調整回路の作用を説明するための図である。
【図７】図４に示したストラクチャー補正回路の変形例を示す回路図である。
【図８】図７に示したストラクチャー補正回路におけるルックアップテーブルの第１の構成を示す図である。
【図９】図７に示したストラクチャー補正回路におけるルックアップテーブルの第２の構成を示す図である。
【図１０】図４に示したストラクチャー補正回路の他の変形例について示す説明図である。
【図１１】従来の画像処理装置におけるテクスチャー強調処理の概要を説明するための図である。
【符号の説明】
１０…Ｓ／Ｔ分離回路、１１…レベル判定手段、１２…周波数判定手段、１３…フィルタ特性決定手段、１４…非線形フィルタ、１５…減算器、２０…テクスチャー増幅回路、３０…ストラクチャー補正回路、３１…ガンマ曲線生成回路、３２…ゲイン調整回路、３４，４０…加算器、３３，５０…遅延回路、３５…ＬＵＴ、６０…クロマアンプ、１００…テクスチャー強調部、１０１…チューナ、１０２…Ｙ／Ｃ分離回路、１０３…クロマデコーダ、１０４…スイッチ、１０５…マトリクス回路、１０６…ドライブ、１０７…ディスプレイ、Ｓ１，Ｓ２…ストラクチャー成分、Ｔ１，Ｔ２…テクスチャー成分、ＹIN，ＹOUT …輝度信号、ＵIN，ＶIN，，ＵOUT ，ＶOUT …色差信号、ＴＥ…エンハンスゲイン、Ｄ…ドライブゲイン。
【図１】
0004175024.tif 000002
【図２】
0004175024.tif 000003
【図３】
0004175024.tif 000004
【図４】
0004175024.tif 000005
【図５】
0004175024.tif 000006
【図６】
0004175024.tif 000007
【図７】
0004175024.tif 000008
【図８】
0004175024.tif 000009
【図９】
0004175024.tif 000010
【図１０】
0004175024.tif 000011
【図１１】
0004175024.tif 000012