(57)【要約】【課題】サブピクセル精度で先鋭感、精細感向上を行う画像処理装置において、サブピクセル単位での処理により発生する画像のボケ味を軽減し、より高い先鋭感、精細感のある画像を表示する画像処理装置を提供する。【解決手段】画素毎に入力画像と処理画像を適切に合成することで、サブピクセル精度で行う画像処理部で強調されない部分に関しては入力画像自身を表示するようにする。これにより、サブピクセル処理の効果の薄い部分でのボケ味を軽減でき、かつ、精細感、先鋭感の高い高品位な表示結果が得られる。【選択図】図１
2007139838.tif 000002
【特許請求の範囲】
【請求項１】
１画素に対し複数の発光素子を備える表示装置であって、
第１画像信号を入力する入力手段と、
入力された前記第１画像信号から、前記発光素子の精度で画像処理を行い、画素精度の第２画像信号を出力する処理部とを備え、
前記第１画像信号と前記第２画像信号とを合成し、合成された画像を表示する表示装置。
【請求項２】
前記表示装置は、前記第１画像信号と前記第２画像信号とを、前記画像処理の結果に基づいて合成することを特徴とする請求項１記載の表示装置。
【請求項３】
前記画像処理は、前記複数の発光素子が並ぶ方向に対する強調処理を含み、
強調処理される部分には前記第１画像信号を用い、強調処理されない部分には前記第２画像信号を用いることで、前記第１画像信号と前記第２画像信号とを合成することを特徴とする請求項２記載の表示装置。
【請求項４】
画素精度の第１画像を入力する入力手段と、
入力された前記第１画像から、画素精度より細かいサブピクセル精度で画像を生成する補間部と、
生成された前記サブピクセル精度の画像からサブピクセル精度の強調画像を生成する画像処理部と、
前記強調画像を画素精度の第２画像に変換して出力するサブピクセルレンダリング部と、
前記第１画像と前記第２画像とを、合成して出力する合成手段と、
を備えた画像処理装置。
【請求項５】
前記合成手段は、エッジに該当するか否かの判定結果に基づいて、
エッジに該当する部分には前記第１画像を、エッジに該当しない部分には前記第２画像を用いた画像信号を出力することで、前記第１画像と前記第２画像とを合成する
請求項４記載の画像処理装置。
【請求項６】
前記合成手段は、
前記入力画像の出力と前記サブピクセルレンダリング部の出力とを切り替えることにより、前記第１画像と前記第２画像とを合成する
請求項４または５に記載の画像処理装置。
【請求項７】
前記合成手段は、前記第１の画素精度の画像信号と前記第２の画素精度の画像信号とを加算することにより合成して出力することを特徴とする請求項４または５に記載の画像処理装置。
【請求項８】
画素精度の入力画像を入力するステップと、
前記入力画像サブピクセル精度の画像を生成する補間ステップと、
前記サブピクセル精度の画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理ステップと、
前記強調画像を画素精度の画像に変換して出力するサブピクセルレンダリングステップと、
前記強調画像と前記サブピクセル精度の画像とに基づいて、前記入力画像と前記サブピクセルレンダリング部の出力とを合成するステップと、
を含む画像処理方法。
【請求項９】
コンピュータに、
画素精度の入力画像を受け取り、サブピクセル精度の画像を生成する補間ステップと、
前記サブピクセル精度の画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理ステップと、
前記強調画像を画素精度の画像に変換して出力するサブピクセルレンダリングステップと、
前記強調画像と前記サブピクセル精度の画像とに基づいて、前記入力画像と前記サブピクセルレンダリング部の出力とを合成する手段と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
画素精度の入力画像を受け取り、サブピクセル精度の画像を生成する補間手段と、
前記サブピクセル精度の画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理手段と、
前記強調画像を画素精度の画像に変換して出力するサブピクセルレンダリング手段と、
前記強調画像と前記サブピクセル精度の画像とに基づいて、前記入力画像と前記サブピクセルレンダリング部の出力とを合成する手段と、
を備えた半導体装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の精細感および先鋭感を強調させるための画像処理装置及び方法、並びに前記画像処理方法に関連する表示装置等の技術に関する。
【背景技術】
【０００２】
画像の精細感を向上させる技術としてサブピクセル精度の処理を行う技術がある。
【０００３】
サブピクセルとは、表示デバイスの１画素を構成する複数の発光素子のうちの１つの発光素子に対応する微小画素要素をいい、サブピクセル精度とは、１画素を構成する発光素子のうちの１つの発光素子に１対１に対応する精度をいう。例えば、１画素が水平方向にならぶ赤、緑、青の３つの発光素子から構成される場合、サブピクセル精度の画像とは横方向に表示デバイスに３倍の解像度を持つ画像となる。
【０００４】
この精細感向上をサブピクセル精度の処理により行うものとしては、特開２００５−１４１２０９号公報記載の技術がある。以下、特開２００５−１４１２０９号公報記載の技術について説明を行う。
【０００５】
図５は、従来の画像処理装置のブロック図である。
【０００６】
図５において、５０１は入力画像、５０２は単純補間部、５０３はローパスフィルタ、５０４は補間部、５０５は輪郭強調部、５０６は輝度・色差分離部、５０７は色にじみ抑制部、５０８は色差処理部,５０９はサブピクセル精度の処理を行うブロック、５１０は表示画像生成部、５１１はサブピクセルレンダリング部、５１２は出力画像、５１３は表示デバイス５１４の発光状態を制御するドライバ、５１４は表示デバイスである。
【０００７】
表示デバイス５１４は、ＰＤＰ（プラズマディスプレイパネル）、ＬＣＤ、有機ＥＬ等の表示デバイスであり、１画素がＲＧＢ３原色をそれぞれ発光させる３つの発光素子（サブピクセル）から構成されている。この各発光素子はドライバ５１３により独立に制御される。
【０００８】
なお、発光素子は、ＲＧＢ３原色以外の光を発光するものでもよく、発光素子が並ぶ方向も垂直・水平のどちらの方向でもよい。また、発光素子の並ぶ順番も任意である。
【０００９】
ここでは、入力画像は画素毎にＲ、Ｇ、Ｂの信号からなるデータ列であるとし、表示デバイスの発光素子の並びは水平方向にＲ、Ｇ、Ｂの並びであるとする。
【００１０】
また、図５中のｄ１〜ｄ９は、各ブロック間を流れるデータの形式であり、これは図６に示す形式となる。図６から分かるように、ｄ２〜ｄ８までの部分が、サブピクセル精度の画像データが流れる部分となる。
【００１１】
入力画像５０１の画素ｉの画素値ｄ１（Ｒｉ，Ｇｉ，Ｂｉ）は、補間部５０４の単純補間部５０２に入力され、ここでは例えば単純に３倍されｄ２（Ｒｒｉ，Ｇｒi，Ｂｒｉ，Ｒｇｉ，Ｇｇｉ，Ｂｇｉ，Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）が生成される。ここで行われる処理は単純に３倍する単純三倍であるため、各値は以下の関係となる。
【００１２】
Ｒｒｉ＝Ｒｇｉ＝Ｒｂｉ＝Ｒｉ
Ｇｒｉ＝Ｇｇｉ＝Ｇｂｉ＝Ｇｉ
Ｂｒｉ＝Ｂｇｉ＝Ｂｂｉ＝Ｂｉ
上記のように、単純補間部５０２では、１画素を構成するサブピクセルの個数回（ここでは３回）だけ、画素値の複写が行われる。
【００１３】
次に、ローパスフィルタ５０３で、単純三倍処理時に発生する擬似高周波成分を除去するためのローパスフィルタ処理が施される。擬似高周波成分とは、単純補間前の画像に含まれていなかった高周波成分が単純複写により発生するものである。これを除去するためには、一般的にローパスフィルタなどが利用される。
【００１４】
ローパスフィルタ５０３では、入力値ｄ２に赤（Ｒ）、緑（Ｇ）、青（Ｂ）、それぞれの成分個別にローパスフィルタを施し、ｄ３（Ｒ’ｒｉ，Ｇ’ｒi，Ｂ’ｒｉ，Ｒ’ｇｉ，Ｇ’ｇｉ，Ｂ’ｇｉ，Ｒ’ｂｉ，Ｇ’ｂｉ，Ｂ’ｂｉ）を生成する。
【００１５】
補間部５０４でサブピクセル精度に補間された画素値ｄ３は、輪郭強調部５０５に入力され輪郭（エッジ）成分の強調が行われ、輪郭成分が強調されたｄ４（Ｒ”ｒｉ，Ｇ”ｒi，Ｂ”ｒｉ，Ｒ”ｇｉ，Ｇ”ｇｉ，Ｂ”ｇｉ，Ｒ”ｂｉ，Ｇ”ｂｉ，Ｂ”ｂｉ）が出力される。
【００１６】
図７は、輪郭強調部の内部ブロック図である。図７において、７０１は輪郭強調部への入力画像、７０２はハイパスフィルタ、７０３はゲイン乗算部、７０４は加算部、７０５は輪郭強調部からの出力画像、５０５は輪郭強調部である。
【００１７】
入力画像７０１を入力した輪郭強調部５０５では、ハイパスフィルタ７０２で入力画像の高域成分を抽出する。抽出した高域成分は、ゲイン乗算部７０３で指定されたゲイン値と乗算され、ゲイン倍された高域成分が出力される。このゲイン倍された高域成分と入力画像７０１が加算部７０４で加算処理され、高域成分（エッジ成分）が強調された出力画像７０５が出力される。
【００１８】
図８は、輪郭強調部５０５の入力画素値ｄ３と出力画素値ｄ４の関係を表したものである。図８では、縦軸が入力値の大きさ、横軸が入力画素の水平位置を示している。図８のように、ｄ３のエッジ部分（高域成分）が強調され、ｄ４として出力されることになる。
【００１９】
輪郭強調部５０５で、輪郭強調された画像は、輝度・色差分離部５０６で輝度成分と色差成分に分離され、輝度成分ｄ５（Ｙｒｉ，Ｙｇｉ，Ｙｂｉ）は色にじみ抑制部５０７に、色差成分ｄ６（Ｃｒｒｉ，Ｃｂｒｉ、Ｃｒｇｉ，Ｃｂｇｉ，Ｃｒｂｉ，Ｃｂｂｉ）は色差処理部５０９に出力される。この輝度・色差分離部での処理としては、例えば次式などが利用される。
【００２０】
Ｙ    ＝  ０．２９９Ｒ  ＋  ０．５８７Ｇ  ＋  ０．１１４Ｂ
Ｃｂ  ＝−０．１７２Ｒ  −  ０．３３９Ｇ  ＋  ０．５１１Ｂ
Ｃｒ  ＝  ０．５１１Ｒ  −  ０．４２８Ｇ  −  ０．０８３Ｂ
なお、上記は、輝度・色差分離処理の式の一例であり、ＣＣＩＲ．６０１、ＣＣＩＲ．７０９など、輝度・色差で表現される色空間への変換式のうち様々なものを利用することができる。
【００２１】
色にじみ抑制部５０７では、入力ｄ５に対して、サブピクセル表示を行う際に発生する色にじみを抑制するフィルタ処理を施して結果ｄ７（Ｙ’ｒｉ，Ｙ’ｇｉ，Ｙ’ｂｉ）を得る。この色にじみ抑制フィルタとしては、例えば、図９のようなローパスフィルタが考えられる。
【００２２】
ここで色にじみとは、異なる色に発光する表示デバイスの各々のサブピクセルに異なる輝度に基づいた情報を与えた場合に発生する、好ましくない色の発色のことである。
【００２３】
このように、好ましくない色の発光は、輝度変化の大きな部分において色がにじんだように見えてしまうことにつながり、画質劣化の原因となる。
【００２４】
図９では、輝度成分Ｙｒｉ（Ｙｇｉ，Ｙｂｉ）の左右２画素の成分に対して１／９、２／９、３／９、２／９、１／９の係数からなるローパスフィルタを施し、Ｙ’ｒｉ（Ｙ’ｇｉ，Ｙ’ｂｉ）を計算している。図９のローパスフィルタは１：２：３：２：１のフィルタ係数であるが、特開２００５−１４１２０９公報では、このほか、１：１：１、１：２：１、１：４：６：４：１の比のフィルタ係数が開示されている。
【００２５】
色差処理部５０８では、分離されたサブピクセル精度の色差成分ｄ６から、ｄ８（Ｃｒ’ｉ，Ｃｂ’ｉ）を計算する。この変換式としては、例えば次のようなものが利用できる。
【００２６】
Ｃｒ’ｉ  ＝  （Ｃｒｒｉ＋Ｃｒｇｉ＋Ｃｒｂｉ）÷３
Ｃｂ’ｉ  ＝  （Ｃｂｒｉ＋Ｃｂｇｉ＋Ｃｂｂｉ）÷３
表示画像生成部５１０では、色にじみ抑制部の出力ｄ７と、色差処理部ｄ８の出力から、出力画像の画素値ｄ９（Ｒ＃ｉ，Ｇ＃ｉ，Ｂ＃ｉ）を計算する。この変換式は、輝度・色差分離部提示したＲＧＢからＹＣｂＣｒへの変換式を利用した場合、以下のようになる。
【００２７】
Ｒ＃ｉ  ＝  Ｙ’ｒｉ  ＋  １．３７１Ｃｒ’ｉ
Ｇ＃ｉ  ＝  Ｙ’ｇｉ  −  ０．６９８Ｃｒ’ｉ  −  ０．３３６Ｃｂ’ｉ
Ｂ＃ｉ  ＝  Ｙ’ｂｉ                          ＋  １．７３２Ｃｂ’ｉ
上記式において、Ｒ＃ｉ，Ｇ＃ｉ、Ｂ＃ｉに加算される輝度成分Ｙがそれぞれ異なることで、サブピクセル精度で施した画像処理の結果を保持したまま、表示デバイス５１４に表示されることになる。
【００２８】
以上のように、補間部５０４でサブピクセル精度の画像に変換し、サブピクセル精度で輪郭強調などの画像処理を施し、サブピクセル精度の情報を保ったまま画素精度に変換して表示デバイスに表示することで、画素精度に比べてより精細感の高い画像を生成することができる。
【特許文献１】特開２００５−１４１２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２９】
しかしながら、従来の技術では、サブピクセル精度での画像処理を行うために、ローパスフィルタ５０３と色にじみ抑制部５０７でのローパスフィルタ処理の２度のローパスフィルタを画像全体に一様に施すことで、画像全体が若干ボケてしまうという問題がある。
【００３０】
図１０は入力画像５０１の例、図１１は輪郭強調部のゲイン乗算部７０３の出力を示したものである。図１１において、グレーの部分は輪郭強調が行われていない部分、つまり輪郭強調部での強調が行われず入力画像のまま出力される部分、白い部分が輪郭強調部により強調処理が行われる部分である。
【００３１】
輪郭強調が行われない非エッジ部分は、図５のブロックを見て分かるように、入力画像にローパスフィルタが２度施されただけで出力されることになる。
【００３２】
つまり、輪郭強調の施されなかった部分は、ボケてしまうことになり、精細感、先鋭感が低下してしまうという問題がある。
【００３３】
そこで本発明では、輪郭強調が行われない部分で発生するボケ味を削減することを課題とし、サブピクセル単位での画像処理を行いつつ画像全体としてはより高い先鋭度・精細感のある画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【００３４】
本願発明は、画素精度の第１画像を入力し、入力された前記第１画像から、画素精度より細かいサブピクセル精度で画像を生成し、生成された前記サブピクセル精度の画像からサブピクセル精度の強調画像を生成し、前記強調画像を画素精度の第２画像に変換して出力し、前記第１画像と前記第２画像とを合成して出力する。
【００３５】
また、本願発明は、１画素に対し複数の発光素子を備える表示装置であって、第１画像信号を入力する入力手段と、入力された前記第１画像信号から、前記発光素子の精度で画像処理を行い、画素精度の第２画像信号を出力する処理部とを備え、前記第１画像信号と前記第２画像信号とを合成し、合成された画像を表示する。
【発明の効果】
【００３６】
本発明によれば、入力された画像のうち、入力画像をそのまま使う部分とサブピクセル単位での画像処理を経由した部分とを合成して画像を生成することができる。
【００３７】
従って、部分的にはサブピクセル単位での画像処理の効果を得つつ、画像全体としてはボケ味の増加を抑えた先鋭度・精細感の優れた表示を提供することができる。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【００３９】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置のブロック図である。図１において、１０１は画像処理装置に入力される入力画像、１０２は補間部、１０３は輪郭強調などの処理を行う画像処理部、１０４は補間部１０２の出力と画像処理部１０３の出力の差分を計算する差分計算部、１０５はサブピクセルレンダリング部、１０６は閾値計算部、１０７は切り替え信号生成部、１０８はサブピクセルレンダリング部１０５の出力と入力画像１０１のどちらを出力するかを、画素精度で切り替えることにより合成する合成部１０８、１０９は画像処理装置の出力画像、１１０は画像処理装置の出力画像１０９を表示デバイス１１１に表示させるためのドライバである。
【００４０】
表示デバイス１１１としては、ＰＤＰ（プラズマディスプレイパネル）、ＬＣＤ（液晶ディスプレイ）、有機ＥＬなどの表示デバイスが望ましい。これらの表示デバイスは、１画素が、それぞれがＲＧＢ３原色に発光する３つの発光素子から構成され、この各発光素子はドライバ１１０により独立に制御される。
【００４１】
なお、１画素を構成する発行素子はＲＧＢ３原色の光を発するものでなくても差し支えないし、発光素子が並ぶ方向は水平／垂直のいずれの方向でもよい。また、発光素子が並ぶ順序も任意である。なお、本実施の形態においては、便宜上発光素子（サブピクセル）は水平方向にＲＧＢの順で並んでいるものとする。
【００４２】
補間部１０２、画像処理部１０３、差分計算部１０４、サブピクセルレンダリング部１０５、閾値計算部１０６は、サブピクセル精度の画像処理を行う部分である。
【００４３】
補間部１０２では、画素精度の入力画像１０１を、サブピクセル精度の補間画像に変換する。本実施の形態では、サブピクセルは水平方向にＲＧＢと並んでいるとするので、補間部１０２で変換された画像のサイズは水平方向に３倍の画像となる。
【００４４】
補間の具体的手法としては、従来技術で上げた単純３倍補間とローパスフィルタの組み合わせ、パターンマッチングを用いた補間、線形補間、キュービック補間などが考えられる。なお、この補間方法については本発明の骨子となる部分ではないので、ここでは、詳細な説明は省略する。
【００４５】
入力画像１０１のｉ番目の画素の値をＳ１（Ｒｉ，Ｇｉ，Ｂｉ）すると、補間部の補間によりＳ２（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ，Ｒｇｉ，Ｇｇｉ，Ｂｇｉ，Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）の９つの成分が生成されることになる。
【００４６】
画像処理部１０３では、サブピクセル精度の補間画像Ｓ２を入力し、補間画像Ｓ２の特定周波数体に属する成分を強調したサブピクセル精度の強調画像Ｓ３（Ｒ’ｒｉ，Ｇ’ｒｉ，Ｂ’ｒｉ，Ｒ’ｇｉ，Ｇ’ｇｉ，Ｂ’ｇｉ，Ｒ’ｂｉ，Ｇ’ｂｉ，Ｂ’ｂｉ）を生成する。この画像処理部１０３としては、図７で示した従来技術による輪郭強調などが利用できる。なお、特定周波数成分を強調して出力する処理であれば、画像処理部１０３においてどのような処理を行った場合であっても本実施例と同様の効果がある。
【００４７】
サブピクセルレンダリング部１０５では、画像処理部１０３の出力Ｓ３を入力し、Ｓ４（Ｒ’ｉ，Ｇ’ｉ，Ｂ’ｉ）を出力する。サブピクセルレンダリング部の処理は、図５の従来技術で説明したサブピクセルレンダリング部５１１と同じ処理となる。なお、サブピクセルレンダリング部として、特許第３４７６７８７号記載の方法などを利用してもよい。
【００４８】
差分計算部１０４では、強調して出力された部分を特定するために、補間部１０２の出力Ｓ２と、画像処理部１０３の出力Ｓ３の差分（差の絶対値）を計算し、Ｓ５（Ｒ＃ｒｉ，Ｇ＃ｒｉ，Ｂ＃ｒｉ，Ｒ＃ｇｉ，Ｇ＃ｇｉ，Ｂ＃ｇｉ，Ｒ＃ｂｉ，Ｇ＃ｂｉ，Ｂ＃ｂｉ）を出力する。差の絶対値Ｓ５は以下の式により求められる。
【００４９】
Ｒ＃ｒｉ  ＝  ｜Ｒｒｉ−Ｒ’ｒｉ｜
Ｇ＃ｒｉ  ＝  ｜Ｇｒｉ−Ｇ’ｒｉ｜
Ｂ＃ｒｉ  ＝  ｜Ｂｒｉ−Ｂ’ｒｉ｜
Ｒ＃ｇｉ  ＝  ｜Ｒｇｉ−Ｒ’ｇｉ｜
Ｇ＃ｇｉ  ＝  ｜Ｇｇｉ−Ｇ’ｇｉ｜
Ｂ＃ｇｉ  ＝  ｜Ｂｇｉ−Ｂ’ｇｉ｜
Ｒ＃ｂｉ  ＝  ｜Ｒｂｉ−Ｒ’ｂｉ｜
Ｇ＃ｂｉ  ＝  ｜Ｇｂｉ−Ｇ’ｂｉ｜
Ｂ＃ｂｉ  ＝  ｜Ｂｂｉ−Ｂ’ｂｉ｜
閾値計算部１０６では、強調された部分であるか否かを判定するために、予め設定された閾値αと差分計算部１０４の出力Ｓ４とを比較し、閾値を超えたかどうかを示すフラグを出力する。ここでは、強調された信号か否かの信号として、閾値を超えた場合に１、超えない場合に０を出力するものとするが、例えば閾値を超えた場合と超えない場合を区別できる値であればどのような値を利用してもよい。
【００５０】
閾値との比較は、以下の式により行う。なお、式中のｍａｘは、要素のうち最も大きな値を取り出す処理である。
【００５１】
ｍａｘ（Ｒ＃ｒｉ，Ｇ＃ｒｉ，Ｂ＃ｒｉ）  ＞  α
ｍａｘ（Ｒ＃ｇｉ，Ｇ＃ｇｉ，Ｂ＃ｇｉ）  ＞  α
ｍａｘ（Ｒ＃ｂｉ，Ｇ＃ｂｉ，Ｂ＃ｂｉ）  ＞  α
上記のように閾値計算部１０６では１つの画素に対し３つ、つまりサブピクセル精度での閾値判定の結果が出力されることになる。
【００５２】
切り替え信号生成部１０７では、サブピクセル精度の閾値判定結果から、画素単位の切り替え信号を生成する。ここでは、閾値計算部１０６の出力するサブピクセル精度（画素に対し３つ）の判定結果のうち１つでも１の場合、１を出力する。また、判定結果がすべて０の場合は０を出力する。
【００５３】
このように、切り替え信号生成部１０７では、サブピクセル精度の閾値判定結果から、画素精度の切り替え信号Ｃｉを生成する。
【００５４】
合成部１０８では、切り替え信号生成部１０７の出力Ｃｉに応じて入力画像Ｓ１を出力するのかサブピクセルレンダリング部１０５の出力Ｓ４を出力するのかを切り替え、入力画像Ｓ１とサブピクセルレンダリング部の出力Ｓ４とを合成して画像を生成する。
【００５５】
具体的には、Ｃｉが１の場合にはＳ４が出力され、Ｃｉが０の場合には入力画像Ｓ１が出力される。
【００５６】
合成部１０８から出力された出力画像１１０は、ドライバ１１０により制御され、表示デバイス１１１に表示される。
【００５７】
以上のように、本発明の実施の形態１の構成によれば、入力された画像のうち、サブピクセル精度での画像処理が施されない部分と、画像処理部でサブピクセル単位での処理が施された部分とを合成して画像を生成または表示することができる。
【００５８】
したがって、強調処理が画像処理部で行われる部分に対しては、精細感が強調され、それ以外の部分に対しては補間部とサブピクセルレンダリング部でのローパスフィルタおよび補間によるボケの影響を受けなくなるようになる。この結果、従来技術に比べて、全体として先鋭度・精細感の高い画像を表示デバイスに表示できる。
【００５９】
尚、表示デバイス１１１としては、１画素が、３つの発光素子から構成されるＰＤＰ、ＬＣＤ、有機ＥＬなどの表示デバイスが望ましい。このような表示デバイスの場合、発光素子の並び方向にサブピクセル単位の輪郭強調をした上で、色にじみ抑制を行なった部分と、入力画像をそのまま用いボケ味の増加を抑制した部分とを、合成した画像を表示することができる。尚、表示デバイス１１１と他の処理部とを別のブロックを用いて記載したが、これらは当然、１つの表示装置を構成するものであってもよい。
【００６０】
尚、合成部１０８では、輪郭強調した部分か否かを判断する情報に基づいて、出力画像を合成するとしたが、サブピクセル単位の画像処理の影響に基づいて出力画像を合成するものであればよい。尚、画像処理の例として輪郭強調を用いた場合では、輪郭部分についてはサブピクセルレンダリング処理された画像信号を用い、輪郭でない部分については入力画像信号を用いて適切に画像を合成することができ、全体の画像としてさらに先鋭度・精細感の高い画像を出力することができる。
【００６１】
尚、さらに、合成部１０８を生成された強調画像と画像処理部の出力するサブピクセル精度の画像との比較に基づいて、前記入力画像の出力と前記サブピクセルレンダリング部の出力とを合成する構成とした場合は、共にサブピクセル精度の画像信号を比較することで輪郭強調部の検出をサブピクセル単位で行うことができ、より詳細な単位で強調された部分を検出できる。
【００６２】
尚、閾値計算部１０６で、予め設定された閾値αと、差分計算部１０４の出力Ｓ４を比較し、閾値を超えたかどうかを示すフラグを出力するとしたが、閾値は事前に設定されるものであっても、外部から入力されるものであっても、周囲の画素信号により動的に変化するものであってもよい。
【００６３】
尚、合成部１０８は、閾値判定結果である切り替え信号生成部１０７からの信号に基づき、出力を切り替える点に特徴を有しているが、エッジに該当する部分か否かを判断する情報であれば、必ずしも閾値判定を行った結果でなくてもよい。
【００６４】
（実施の形態１の変形例）
図１において、入力画像の画素値が輝度・色差で表現される色空間である場合について、実施の形態１の変形例として説明する。
【００６５】
ここで、「輝度」は、色の明るさ任意の物理量（例えば、lightness,luminance等）をいい、「色差」とは色味や色の鮮やかさを示す任意の物理量（例えば、chromaticity,saturation等）をいう。
【００６６】
入力画像のＳ１（Ｙｉ，Ｃｂｉ，Ｃｒｉ）が入力された場合、補間部の出力Ｓ２と画像処理部の出力Ｓ３はそれぞれ、以下のようになる。
【００６７】
Ｓ２（Ｙｒｉ，Ｃｂｒｉ，Ｃｒｒｉ，Ｙｒｇｉ，Ｃｂｇｉ，Ｃｒｇｉ，Ｙｂｉ，Ｃｂｂｉ，Ｃｒｂｉ）
Ｓ３（Ｙ’ｒｉ，Ｃｂ’ｒｉ，Ｃｒ’ｒｉ，Ｙ’ｒｇｉ，Ｃｂ’ｇｉ，Ｃｒ’ｇｉ，Ｙ’ｂｉ，Ｃｂ’ｂｉ，Ｃｒ’ｂｉ）
また、サブピクセルレンダリング部５１１は図２に示すように、輝度・色差成分分離部が省略されたものとなる。これは、画像処理部１０３の出力が既に、輝度・色差からなる情報であるため、変換処理が省略できるためである。なお、色にじみ抑制部５０７、色差処理部５０８、表示画像生成部５１０の処理は従来技術と同様であり、サブピクセルレンダリング部の出力Ｓ４（Ｒ’ｉ，Ｇ’ｉ，Ｂ’ｉ）も、実施の形態１と同様である。
【００６８】
差分計算部１０４の計算は、以下のようになる。
【００６９】
Ｙ＃ｒｉ  ＝  ｜Ｙｒｉ−Ｙ’ｒｉ｜
Ｙ＃ｇｉ  ＝  ｜Ｙｇｉ−Ｙ’ｇｉ｜
Ｙ＃ｂｉ  ＝  ｜Ｙｂｉ−Ｙ’ｂｉ｜
輝度成分Ｙのみの差の絶対値だけしか取らないのは、輪郭強調などの画像処理が一般的に輝度成分に対して大きく影響を与える処理であるため、画像処理部で処理された結果、色差成分はそれほど大きく変化しないためである。つまり、輝度成分の変化が大きいため、色差成分の変化は無視できると考えられる。
【００７０】
また、閾値計算部の計算は以下のようになる。
【００７１】
Ｙ＃ｒｉ  ＞  α
Ｙ＃ｇｉ  ＞  α
Ｙ＃ｂｉ  ＞  α
上記以外の部分については、実施の形態１と同じであり、本変形例によれば、入力画像が輝度・色差からなる色空間である場合も、実施の形態１と同様の効果が有することができる。
【００７２】
さらに、本変形例によれば、輪郭強調などで強調される度合の強い輝度成分の差が大きい部分についてのみサブピクセルレンダリングの結果が出力されるようになり、先鋭度・精細感に優れた表示を提供できる。
【００７３】
（実施の形態２）
図３は、本発明の実施の形態２における画像処理装置のブロック図である。図３において、１０１は入力画像、１０２は補間部、３０１は強調成分のみ出力する輪郭強調部、１０５はサブピクセルレンダリング部、３０２は入力画像１０１とサブピクセルレンダリング部１０５から出力される強調成分をピクセル精度で加算することにより合成する合成部、１０９は出力画像、１１０は画像処理装置の出力画像１０９を表示デバイス１１１に表示させるためのドライバである。
【００７４】
図３において、図１と符号が同じものは実施の形態１と同等の機能を有するものである。ここでは実施の形態１と動作の異なる輪郭強調部３０１と合成部３０２を中心に説明を行う。
【００７５】
画素精度の入力画像１０１は、補間部１０２でサブピクセル精度の画像に補間され、輪郭強調部３０１へ入力される。輪郭強調部では、実施の形態１とは異なり、強調成分だけを生成し、サブピクセルレンダリング部１０５に出力する。サブピクセルレンダリング部１０５では、輪郭強調部３０１の出力したサブピクセル精度の強調成分をサブピクセルレンダリングし、サブピクセル精度の情報をもった画素精度の情報を生成する。なお、この処理は、入力される画像が強調成分のみになるだけで、実施の形態１と同様である。合成部３０２では、入力画像１０１とサブピクセルレンダリング部１０５で生成された画素精度の強調成分を合成し、出力画像１０９を生成する。出力画像１０９はドライバ１１０により表示デバイス１１１に表示される。
【００７６】
図４は、輪郭強調部３０１の処理フローを示したものである。輪郭強調部では、まず先頭画素を注目画素に設定するＳ４０１。なお、この処理フローの説明では、特に説明のないかぎり、画素はセブピクセル精度の画素である。次に注目画素を中心としたハイパスフィルタ処理を行う（Ｓ４０２）。ハイパスフィルタは、注目画素をＸｉ(ｉ画素位置）、ハイパスフィルタの結果をＸ’ｉとした場合、次式の演算を行う。
【００７７】
Ｘ’ｉ＝−Ｘｉ−１  ＋２Ｘｉ  −Ｘｉ＋１
上式では、−１：２：−１の係数からなるハイパスフィルタ処理を行っていることになる。なお、上式は一例に過ぎず、−１：０：２：０：−１など他の係数、タップ数からなるハイパスフィルタを利用しても本実施の形態と同様の効果が期待できる。
【００７８】
次にハイパスフィルタＸ’ｉに対してノイズ成分除去を行う（Ｓ４０３）。ノイズ除去とは、ハイパスフィルタの出力結果のうち、値の小さなものを０（ゼロ）にしてしまう処理であり、除算を利用して行う方法や、コアリングと呼ばれる０(ゼロ）近辺に値を寄せる方法がある。出力をＹｉとした場合、ノイズ除去は例えば次式で示すことができる。
【００７９】
１）除算で行う方法
Ｙｉ  ＝  Ｘ’ｉ／α
２）コアリングで行う方法
Ｘ’ｉ  ≧  ０の場合）
Ｙｉ  ＝  Ｘ’ｉ  −  β（ただし、Ｙｉ  ＜  ０となる場合はＹｉ＝０）
Ｘ’ｉ  ＜  ０の場合）
Ｙｉ  ＝  Ｘ’ｉ  ＋  β（ただし、Ｙｉ  ＞  ０となる場合はＹｉ＝０）
上式のα、βは任意の自然数であり、これらの値により、除去されるノイズ成分の量を調整できる。なお、上記１）２）の片方のみ、または両方を組み合わせてノイズ成分を除去を行うことができる。
【００８０】
続いて、ノイズ成分除去を行ったＹｉに対して一定の倍率でのゲイン調整を行う（Ｓ４０４）。ゲインをγとすると、ゲイン倍後の値Ｙｉは、次式で示される。
【００８１】
Ｙ’ｉ  ＝  γ  ×  Ｙｉ
このＹ’ｉが注目画素の輪郭強調部により出力され、注目画素が最終画素でない場合、注目画素の更新が行われ、Ｓ４０２〜Ｓ４０４の処理がｉを変更しながら繰り返される（Ｓ４０５、４０６）。
【００８２】
注目画素が最終画素である場合は、画像のすべての画素について処理が行われたとして、輪郭強調部での処理は完了する（Ｓ４０７）。なお、輪郭強調部での処理は、図４のフローに限らず、入力画像の特定周波数を強調し、入力画像との差分の成分だけを出力するものであればよい。
【００８３】
さらに、輪郭強調部では強調成分のみを結果として出力する。輪郭強調部から出力されたサブピクセル精度の強調成分は、サブピクセルレンダリング部によりサブピクセル精度の情報を保持したまま画素精度に変換する。
【００８４】
この構成により、サブピクセル精度での画像処理結果が輪郭成分のみの出力となり、従来技術に比べて、ボケの発生を抑制し、精細感すぐれた表示を提供できる。
【００８５】
尚、上述のように合成部では、サブピクセルレンダリング部から出力された画素精度の強調成分と入力画像を足し合わせ、出力画像として出力することにより、表示デバイスに表示することもできる。
【００８６】
サブピクセル精度で行った処理の結果を強調成分のみとし、サブピクセルレンダリング結果と、入力画像を画素精度で加算することで合成するため、強調成分に関してはサブピクセル精度を保ったまま、入力画像に対して補間部およびサブピクセルレンダリング部で行われるローパスフィルタの影響を無くすことができる。
【００８７】
これにより、強調されない部分でのボケの発生を抑制し、強調成分はサブピクセル精度で処理されることで先鋭度、精細感の高い画像処理を実現できる。
【００８８】
（その他変形例）
なお、本発明を上記実施の形態及び変形例に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【００８９】
（１）上記の画像処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【００９０】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【００９１】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【００９２】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【００９３】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【００９４】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【００９５】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【００９６】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００９７】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００９８】
本発明は、画質向上のための画像処理装置及び画像処理方法に利用可能である。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】本発明の実施の形態１の変形例におけるサブピクセルレンダリング部のブロック図
【図３】本発明の実施の形態２における画像処理装置のブロック図
【図４】本発明の実施の形態２における輪郭強調部の処理フローを示す図
【図５】従来の画像処理装置のブロック図
【図６】従来の画像処理装置における画像処理の過程説明図
【図７】従来の輪郭強調部のブロック図
【図８】従来の輪郭強調による波形例を示す図
【図９】従来の表示画像生成部におけるローパスフィルタの例を示す図
【図１０】従来の画像処理装置における入力画像例を示す図
【図１１】従来の画像処理装置における強調される部分の例を示す図
【符号の説明】
【０１００】
１０１    入力画像
１０２    補間部
１０３    画像処理部
１０４    差分計算部
１０５    サブピクセルレンダリング部
１０６    閾値計算部
１０７    切り替え信号生成部
１０８    合成部
１０９    出力画像
１１０    ドライバ
１１１    表示デバイス
１１２    サブピクセル精度の動作部分
３０１    輪郭強調部（強調成分のみ）
３０２    合成部
５０１    入力画像
５０２    単純補間部
５０３    ローパスフィルタ（ＬＰＦ）１
５０４    補間部
５０５    輪郭強調部
５０６    輝度・色差分離部
５０７    色にじみ抑制部
５０８    色差処理部
５０９    サブピクセル精度の動作部分
５１０    表示画像生成部
５１１    サブピクセルレンダリング部
５１２    出力画像
５１３    ドライバ
５１４    表示デバイス
７０１    入力画像
７０２    ハイパスフィルタ（ＨＰＦ）
７０３    ゲイン乗算部
７０４    加算部
７０５    出力画像
【図１】
2007139838.tif 000003
【図２】
2007139838.tif 000004
【図３】
2007139838.tif 000005
【図４】
2007139838.tif 000006
【図５】
2007139838.tif 000007
【図６】
2007139838.tif 000008
【図７】
2007139838.tif 000009
【図８】
2007139838.tif 000010
【図９】
2007139838.tif 000011
【図１０】
2007139838.tif 000012
【図１１】
2007139838.tif 000013