(57)【要約】【課題】画像変形時のディスクリネーション量の変化に伴う、画質劣化を抑制する。【解決手段】画像変形手段を有し、前記変形手段は、変形後画像の画素階調値を、変形前画像の複数画素の階調値を補完演算した、補完階調値を算出し、前記補完階調値と、前記変形前画像の複数画素の階調値より、複数の駆動階調値を生成する、駆動階調生成手段を有し、前記、複数の駆動階調値により、連続したフレームにて画像表示することを特徴とする。【選択図】図４
2018005131.tif 000002
【特許請求の範囲】
【請求項１】
液晶表示素子を使用した投射型表示装置で、
前記投射型表示装置は、画像変形手段を有し、
前記画像変形手段とは、変形後画像の各画素座標と変形前画像の座標値の変換を演算する手段、若しくは、変形後画像の各画素の輝度値を、変形前画像の複数画素の輝度値の演算により算出することを特徴とし、
前記座標変換手段の演算した結果、及び、前記変形前画像の複数画素の階調値より、
複数の駆動階調値を生成する、駆動階調生成手段を有し、
前記、複数の駆動階調値を、連続したフレームで表示することを特徴とする投射型表示装置。
【請求項２】
前記複数の駆動階調値の平均値は、前記補完階調値であることを特徴とする請求項１に記載の投射型表示装置。
【請求項３】
前記複数の駆動階調値は、それぞれ、前記変形前画像の複数画素の階調値のいずれかであることを特徴とする請求項１に記載の投射型表示装置。
【請求項４】
前記画像変形手段は、変形前画像と変形後画像の画素座標を変換することを特徴とする請求項１に記載の投射型表示装置。
【請求項５】
前記画像変形手段は、台形補正、解像度変換を含むことを特徴とする請求項１に記載の投射型表示装置。
【請求項６】
前記、変形後画像の各画素の輝度値を、変形前画像の複数画素の輝度値の演算により算出する手段とは、バイリニア補完演算、若しくは、バイキュービック補完演算であることを特徴とする請求項１に記載の投射型表示装置。
【請求項７】
画像変形手段を有し、
前記画像変形手段とは、変形後画像の各画素座標と変形前画像の座標値の変換を演算する手段、若しくは、変形後画像の各画素の輝度値を、変形前画像の複数画素の輝度値の演算により算出することを特徴とし、
前記座標変換手段の演算した結果、及び、前記変形前画像の複数画素の階調値より、
複数の駆動階調値を生成する、駆動階調生成手段を有し、
前記、複数の駆動階調値を、連続したフレームで、投射型表示装置に入力することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射型表示装置に関する。
【背景技術】
【０００２】
投射型表示装置は、スクリーンに画像を投影する装置であるが、この時、投影画像の形状補正のために、画像変形処理を実施する場合がある。
【０００３】
図１は天吊状態の投射型表示装置11が、斜め下方向のスクリーン14へ画像投影した状態を示している。この場合スクリーン14の法線と投射型表示装置の光軸の方向が一致せず、角度15が生じるため、投影画面の下側が広がった台形状の投射画像13となる。これを補正するために、画面の下側を圧縮する、台形補正と呼ばれる画像変形処理を実施して、投影画像13を、歪みのない画像に補正する技術が知られている。
【０００４】
画像変形処理とは、図１４（a)に示す様に、変形前の画像の座標（A,B）の階調値を、異なる座標（α,β）に写像する数式を定義して、変形前の全座標の階調値に対して写像を実施する処理である。ここで、変形前の座標（A,B）が整数値であるのに対して、変形後の写像先座標（α,β）は、必ずしも整数とは限らない実数座標である。一方、画像変形を実施した画像を、投射型表示装置で表示するためには、変形後の座標（α,β）が、整数値でないと、表示する画像を決定することができない。そのため、一般的な画像変形処理の計算手順としては、図１４(b)で示す様に、変形後の整数値の座標（x’,y’）に対応する、変形前の実数座標（x+Δx,ｙ+Δy）という、逆写像の数式を定義して、（x+Δx,ｙ+Δy）の近傍の整数座標（x,y）、(x+1,y)、(x,y+1)、(x+1,y+1)等の階調値より、(x’,y’)の階調値を補完計算して、変形後の座標（x’,y’）の階調値を算出する方法が普通である。ここで、x、yは整数値であり、Δx、Δyは、小数点以下の端数を示し、0以上1未満の実数値をとる。
【０００５】
台形補正以外にも、拡大・縮小の解像度変換等、アフィン変換全般、更には、曲面への投射時の形状補正の様な、画像を幾何変形する操作全般に関しても、数式１にて示す座標変換を考えることで、表示する画像が決定される。
【０００６】
【数１】
2018005131.tif 000003
【０００７】
この様な座標変換に伴う上記階調補完を実施に伴い、画像尖鋭度の低下等の画質品位の低下という課題が発生するが、この課題に対応する公知技術が知られており、特許文献１では、台形補正後に、エッジ強調処理を行い、画像表示することで、尖鋭度の低下を補正する技術が知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2005-210418号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、液晶プロジェクタの様な投射型表示装置で、画像の幾何変形操作を実施する際に、補完階調にて表示した画素において、ディスクリネーションの程度が変化することに由来した、画質変化という課題に関して、これまで考慮がなされていなかった。
【００１０】
図２(a)は黒背景上に1画素の幅の垂直な白線を所定周期で並べた画像である。図２(b)はこの画像に対して、台形補正を実施して、画面下側を圧縮させる変形処理を示した図である。
【００１１】
変形後画像の白線22の中で、補完画素部23は変形処理に付随して、変形前の対応座標（x+Δx、y+Δy）が整数ではないため、変形前の座標近傍の整数座標の階調値を補完して表示輝度を決定しているエリアである。（以下では、このような変形前の１画素の階調値を変形後に複数画素の階調値の積分輝度で表示する画素のことを補完画素と称する）
図３は補完画素部23の拡大図であり、図３(a)は8biの駆動階調値で、図３(b)は実際に表示される画像である。
【００１２】
液晶表示素子においては、黒背景上の白ラインの様な、輝度勾配の大きい画像では、画素間の駆動電位の差異による横電界が大きいため、ディスクリネーションと呼ばれる液晶方位角の乱れが発生し、ディスクリネーションラインと呼ばれる、1画素以下のサイズの暗線33が発生する。
【００１３】
図３に示す様に、補完画素34では、変形前の1画素幅の白の輝度を、2画素の中間階調に分配して表示されているため、黒背景と白線の間の輝度勾配すなわち、横電界量が低下する。このことにより、ディスクリネーションの発生量も相対的に小さくなる。
【００１４】
図４は補完画素部23における、補完表示した白ラインの2画素の積分輝度値を示した図である。
【００１５】
特性41の様に、補完が実施されている箇所は、ディスクリネーションの影響が相対的に低下することにより、輝度が明るくなる輝度特性となる。このような、補完部限定での輝度変化がなされることにより、ストライプパターンの様な周期性のある画像においては、補完画素部分の輝度変化がモアレ状に発生してしまい、画質品位の低下となる。
【００１６】
この様な画素補完の影響は、台形補正にとどまらず、回転補正、曲面補正等、一般的な画像変形動作に共通した課題となる。
【００１７】
本発明は、画像変形時のディスクリネーション量の変化に伴う、画質変化を抑制する投射型表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記の目的を達成するために、本発明に係る投射型表示装置は、
液晶表示素子を使用した投射型表示装置で、
前記投射型表示装置は、画像変形手段を有し、
前記変形手段は、変形後画像の画素階調値を、変形前画像の複数画素の階調値を補完演算した、補完階調値を算出し、
前記補完階調値と、前記変形前画像の複数画素の階調値より、
複数の駆動階調値を生成する、駆動階調生成手段を有し、
前記複数の駆動階調値により、連続したフレームにて画像表示することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画像変形時のディスクリネーション量の変化に伴う、画質劣化を抑制する投射型表示装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用可能な液晶プロジェクタ（液晶表示装置）の外観斜視図である。
【図２】台形補正に伴う、画像変形動作を説明した図
【図３】画素補完部の拡大図
【図４】各垂直方向の座標毎の補完表示画素の輝度総和の特性を示した図
【図５】液晶プロジェクタのブロック図である
【図６】変形補正処理部の詳細ブロック図
【図７】画像変形前後の座標変換の関係を示す図
【図８】実施例１のディザ部の処理フロー
【図９】ディザパターン分類を示す図
【図１０】実施例１実施後の各画素の表示状態
【図１１】実施例１実施後の各画素の時間平均の表示状態
【図１２】実施例２のディザ部の処理フロー
【図１３】実施例２のディザパターン分類を示す図
【図１４】画像変形処理を説明するための図
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００２２】
最初に、以下で説明する、実施例の共通構成を説明する。
【００２３】
図１は液晶表示素子を使用して入力画像信号を表示する、本発明が適用可能な液晶プロジェクタ16（液晶表示装置）の外観斜視図である。
【００２４】
ＰＣ１１から出力された画像信号は、ビデオケーブル１２を経て、液晶プロジェクタ16に入力される。液晶プロジェクタ16は、入力画像信号に応じて液晶パネル等の液晶表示素子により変調された光を投射画像１３としてスクリーン１４（被投射面）に投射する画像投射装置である。
【００２５】
図５に、液晶プロジェクタ16のブロック図を示す。
【００２６】
液晶プロジェクタ16は、第一映像処理部５１、変形補正処理部５２、第二映像処理部５３、ＡＤコンバータ５４  ＣＰＵ５９、液晶表示素子５７、及び光学系を構成する各要素５５，５６，５８を有する。
【００２７】
第一映像処理部５１は、入力画像信号にブライトネス補正やコントラスト補正、色変換等の画像処理を施して画像信号を生成して、変形補正処理部５２に信号を出力する。変形補正処理部５２は、入力画像に対して、台形補正等の幾何変形を実施して、第二映像処理部５３に出力するブロックである。詳細は後述する。
【００２８】
第二映像処理部５３にて、ガンマ補正やムラ補正等を実施して、ＡＤコンバータ５４に出力する。ＡＤコンバータ５４にて、画像信号を、液晶駆動電圧に変換して、液晶表示素子５７を駆動する。液晶表示素子５７により表示された画像は、ランプ５５、光学系５６，５８により、投射表示なされる。ＣＰＵ５９は、液晶プロジェクタ１６の各部の電源や状態の制御を行う機能を持つマイクロコンピューターである。
【００２９】
図６は変形補正処理部５２の詳細ブロック図である。
【００３０】
最初に、画像変形部６１により、台形補正等の画像変形処理を実施したのちに、倍速変換部６２で倍速の周波数の信号に変換した後、ディザ処理部６３に出力する。ディザ処理部６３では、入力画像に対して、時間的に階調を上下させるディザ処理を実施して表示することで、時間平均画像として入力画像同等の画像を表示する処理を実施する。ここで、本実施例における信号のフレームレートに関する説明を行う。
【００３１】
本実施例では、外部からの入力信号としては、60Hzの場合を想定し、倍速変換部６２で、60→120Hzにフレームレートを変換して、ディザ部に出力する（従って、60Hzのフレームレートで入力した画像を120Hzで２回づつ同じ画像を出力する）。ディザ部では、120Hzで入力された画像に対して、ディザの処理を実施する。
【００３２】
本実施例で挙げた入力レート（60Hz）及び、倍速変換（60Hz→120Hz）は、一例を挙げたものであり、例えば、倍速変換を4倍速（60→240Hz）に変換するといった、場合にも本発明は適用できる。又、倍速変換を実施しない場合の実施も可能である。
【００３３】
以下の実施例の説明では、画像変形に伴う、ディザ部の表示階調の生成手順に関して説明する。
【００３４】
［実施例１］
本実施例は、補完画素の階調値算出を、バイリニア補完により算出する従来例に対して、本発明を適用した実施形態を説明するものである。
【００３５】
図７は数式１で定義される座標変換と、変形前後の座標の関係を示した図である。
【００３６】
変形前座標71（x+Δx,y+Δy）が、変換後座標72（x’,y’）に変形されるに当り、階調値L（x’,y’）を、変形前の複数座標の階調値を用いて、数式２のバイリニア補完により決定するケースにおける、本発明の実施形態を説明する。
【００３７】
【数２】
2018005131.tif 000004
【００３８】
L(x,y)とは、変形前画像の座標(x,y)のGreenの階調値を示すものであり、本座標の画素の輝度値に比例した値とする。Red、Blueの階調に関しても、同様の手順で処理が行われるため、以下ではGreenの場合のみ代表して説明をする。
【００３９】
図８は画像変形部６１より変形された画像情報を倍速変換部６２を経由して、ディザ処理部６３に受け渡したのちに、ディザ処理部が実施する処理フローを示した図である。
【００４０】
本処理は、ハードウエア（ASIC、FPGA）により実施しても良いし、ファームウエア（ＣＰＵ）により実施しても良い。本実施例では、全ての処理をハードウエアが実施する構成を例として、ハードウエアの処理する動作フローを以下で説明する。
【００４１】
まず、ディザ処理部６３の前段の画像変形部６１での動作を説明する。画像変形部では、変形後の座標値に対応する、変形前の座標値を計算する。出力としては、以下の情報を出力する。
【００４２】
変形後座標値：(x’,y’)、変形前座標値：（x+Δx,y+Δy）、変形前座標の階調値：L(x,y), L(x+1,y), L(x,y+1), L(x+1,y+1) 
ディザ処理部６３のフローの説明に戻るが、STEP82で、先ほど説明した画像変形部の出力データを取得する。次に、STEP83にて、変形前画像の小数点以下の座標値Δx,Δyより、ディザパターンを決定する。本実施例では、Δｘ、Δyそれぞれ、図9に示す条件に応じて、5種類のディザパターンに分類する。変形後座標（x’,y’）の表示階調は、変形前画像の階調値L（x+α,y+β）のいずれかで表示され、図９に応じて、連続する第一〜第四フレームにおける、α、βの値が0、1のいずれかに該当する座標の階調値を表示する。第一〜第四フレームの時間平均値輝度は、数式２で説明した、バイリニア補完階調に近い輝度になる様に時間比率が決められている。
Δx＝0.5,Δy＝0.25の場合を例にすると、図９より、x座標はディザパターン３、y座標はディザパターン２が適用されるため、連続する4フレームの駆動階調としては、以下に示す順序の階調が表示される。5フレーム目以降は、第一フレームに戻り、以下繰り返される。
【００４３】
【数３】
2018005131.tif 000005
【００４４】
STEP83で決定されたディザパターンにより、STEP84では、表示画像を出力して、処理が完了となる。以上の処理を、全ての画素に対して実施する。
【００４５】
以上の処理が、前述の補完画素部23に対してどのように実施されるかを、図１０に示す。各画素毎に、先ほど説明した手順でディザパターンの決定がなされる、図１０(a)の様に、左より、第一〜第四フレームの階調で駆動され、図１０(b)の様な表示画像となる。
【００４６】
図１０(b)に示す通り、第一〜第四フレームの各々の画像における、隣接する画素の輝度勾配は、変形前と比較して変換しておらず、ディスクリネーションのレベルも変形前と比較して、変化しない。第一〜第四フレームの表示輝度を時間平均した画像を図11に示すが、輝度の補完がなされつつ、ディスクリネーションによる輝度低下量も、画像変形前と比較して変化していない。
【００４７】
図４にて、画素補完部における、ディスクリネーションの影響の抑制効果を示す。従来例の特性41に対して、本実施例の特性42が示す様に、画像変形時に、画素補完部での非所望の輝度変化が発生しない。したがって、周期パターン等で、モアレ状の縞の様な画質劣化を抑制することができた。
【００４８】
本実施例では、ディザパターンをΔx、Δyにて、それぞれ5条件に分類したが、条件数を増やすことで精度が高まる。その際は、ディザパターンの周期が長くならない様に、倍速変換部62での変換レートを、240Hz等へと高速化すると、なお良い。これらの条件は処理回路の設計により、任意の変更が可能である。
【００４９】
［実施例２］
本実施例は、補完画素の階調値算出を、バイキュービック補完により算出する従来例に対して、本発明を適用した実施形態を説明するものである。図７で示した座標変換に伴い、補完画素の計算に、変形前画素の階調座標の数を増やした、数式４のバイキュービック補完により決定するケースにおける、本発明の実施形態を説明する。
［数式４］
【００５０】
【数４】
2018005131.tif 000006
【００５１】
aは、補完画質調整パラメタで、ここではa=-1付近の値を想定している
図１２にて、本実施例の処理フローを以下で説明する。
【００５２】
最初に、画像変形部６１での動作を説明する。画像変形部では、変形後の座標値に対応する、変形前の座標値、及び、変形後座標（x’,y’）の補完階調を、数式5で示す、x方向、y方向のバイキュービック補完階調L_bi_x(x’,y’)、L_bi_y(x’,y’)にて計算する。画像変形部の出力データとしては、以下の情報が出力される。
【００５３】
変形後座標値：(x’,y’)、変形前座標の階調値：L(x,y), L(x+1,y), L(x,y+1), L(x+1,y+1) 、x方向,y方向のバイキュービック補完階調値：L_bi_x(x’,y’)、L_bi_y(x’,y’)
【００５４】
【数５】
2018005131.tif 000007
【００５５】
ディザ処理部６３のフローの説明に戻るが、STEP122で、画像変形部の出力データを取得する。次に、STEP123にて、x,y方向のバイキュービック補完階調値：L_bi_x(x’,y’)、L_bi_y(x’,y’)より、図１３に示す条件に応じて、5種類のディザパターンの何れかが選択される。尚、図１３では、x方向のディザパターン決定条件に関した条件分類表を示したが、y方向に関しても同様の手順で、ディザパターンを決定できる。
【００５６】
以上の手順を経ることにより、変形後座標（x’,y’）の階調は、変形前画像の階調値L（x+α,y+β）のいずれかで表示され、かつ、ディザにより表示された第一〜第四フレームの時間平均輝度は、数式５で説明した、x方向のバイキュービック補完階調値に近い輝度になる。
【００５７】
例として、L(x,y)＜L（x+1,y) 、L(x,y)＜L（x,y+1)の様な条件の画像で、
L_bi_x(x’,y’)＝0.5L(x,y)+0.5L(x+1,y)、  L_bi_y(x’,y’)＝0.75L(x+1,y)+ 0.25L(x,y+1)の様な条件でバイキュービック補完された場合に関して説明する。図１３より、x座標はディザパターン３、y座標はディザパターン２が適用されるため、連続する4フレームの駆動階調としては、以下の順番で表示される。
【００５８】
【数６】
2018005131.tif 000008
【００５９】
5フレーム目以降は、第一フレームに戻り、以下繰り返される。STEP123で決定されたディザパターンに従い、STEP124で画像を出力して、処理が完了となる。以上の処理を、全ての画素に対して実施する。STEP123で決定されたディザパターンに従い、STEP124で表示画像を出力して、処理が完了となる。以上の処理を、全ての補完画素に対して実施する。
【００６０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００６１】
液晶表示装置は液晶表示素子を使用する液晶プロジェクタ、及び、画像を変形処理する画像処理装置に適用することができる。
【符号の説明】
【００６２】
１１  ＰＣ、１２  ビデオケーブル、１３  投射画像、１４  スクリーン、
１６  液晶プロジェクタ、５１，５３  映像処理部、５２  変形補正処理部、
５４  ＡＤコンバータ、５９  ＣＰＵ、５７  液晶表示素子、
５５，５６，５８  光学系要素、６１  画像変形部、６２  倍速変換部、
６３  ディザ処理部
【図１】
2018005131.tif 000009
【図２】
2018005131.tif 000010
【図３】
2018005131.tif 000011
【図４】
2018005131.tif 000012
【図５】
2018005131.tif 000013
【図６】
2018005131.tif 000014
【図７】
2018005131.tif 000015
【図８】
2018005131.tif 000016
【図９】
2018005131.tif 000017
【図１０】
2018005131.tif 000018
【図１１】
2018005131.tif 000019
【図１２】
2018005131.tif 000020
【図１３】
2018005131.tif 000021
【図１４】
2018005131.tif 000022