(57)【要約】  【課題】  先鋭感や精細感を低下させること無く色にじみの発生を最適に防止する画像処理装置を提供する。【解決手段】  表示デバイス１３の画素を構成する複数の発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行う色にじみ抑制部８と、色にじみ抑制部の処理に先立ってサブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、判定結果に基づいて色にじみ抑制部を制御する色にじみ判定部７とを備える。【選択図】  図１
2006154414.tif 000002
【特許請求の範囲】
【請求項１】
表示デバイスの画素を構成する複数の発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行う色にじみ抑制部と、
前記色にじみ抑制部の前記処理に先立って前記サブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、前記判定結果に基づいて前記色にじみ抑制部を制御する色にじみ判定部とを備える画像処理装置。
【請求項２】
前記色にじみ判定部は、前記判定結果に基づいて前記色にじみ抑制部の前記処理の適用／非適用を切り替える請求項１記載の画像処理装置。
【請求項３】
前記色にじみ抑制部は、色にじみ抑制フィルタを備える請求項２記載の画像処理装置。
【請求項４】
前記色にじみ抑制フィルタは、複数のタップと、前記複数のタップのそれぞれに与えられる複数のタップ係数を有する請求項３記載の画像処理装置。
【請求項５】
前記色にじみ抑制部は、互いにタップ係数が異なる複数の色にじみ抑制フィルタを備え、前記色にじみ判定部は、前記判定結果に基づいて前記複数の色にじみ抑制フィルタのいずれかを選択する請求項３から４のいずれか記載の画像処理装置。
【請求項６】
前記色にじみ抑制部は、複数のセットを記憶するタップ係数記憶部をさらに備え、
前記複数のセットを構成するそれぞれのセットは、前記複数の色にじみ抑制フィルタにそれぞれ与えられる複数のタップ係数により構成され、
前記色にじみ抑制フィルタは、前記複数のセットのうち前記判定結果に対応するセットを使用する請求項３から４のいずれか記載の画像処理装置。
【請求項７】
前記複数のタップ係数の値が特定の組み合わせになるとき、前記色にじみ判定部は、前記色にじみ抑制部の前記処理を非適用とする請求項４記載の画像処理装置。
【請求項８】
前記色にじみ判定部は、セレクタ及びスイッチの少なくとも一方を備え、
前記色にじみ判定部は、前記セレクタ及び前記スイッチの少なくとも一方を用いて前記色にじみ抑制部の前記処理の適用／非適用を切り替える請求項３から９のいずれか記載の画像処理装置。
【請求項９】
前記色にじみ判定部は、互いに隣接する複数のサブピクセルのデータの差分値と所定の閾値とを比較し比較結果を生成する比較部をさらに備え、
前記色にじみ判定部は、前記比較結果に基づいて前記色にじみ抑制フィルタの適用／非適用を切り替える請求項５記載の画像処理装置。
【請求項１０】
前記色にじみ判定部は、互いに隣接する複数のサブピクセルのデータの差分値と所定の閾値とを比較し比較結果を生成する比較部をさらに備え、
前記複数の色にじみ抑制フィルタの平坦化度合いは互いに異なり、
前記色にじみ判定部は、前記複数の色にじみ抑制フィルタの中から前記比較結果に対応する平坦化度合いを有する色にじみ抑制フィルタを選択する請求項５記載の画像処理装置。
【請求項１１】
前記色にじみ判定部は、前記判定結果を生成するために評価関数を用いる請求項１から１０のいずれか記載の画像処理装置。
【請求項１２】
前記評価関数は、互いに隣接する複数のサブピクセルのデータの差分値、前記データの平均値及び前記データの分散値の少なくとも一つに従属する請求項１１記載の画像処理装置。
【請求項１３】
前記色にじみ抑制部は、前記サブピクセル精度画像の輝度成分のみを前記処理する請求項１から１２のいずれか記載の画像処理装置。
【請求項１４】
入力画像を前記サブピクセル精度画像に変換する補間部をさらに備える請求項１から１３のいずれか記載の画像処理装置。
【請求項１５】
前記補間部は、単純補間、直線補間、パターンマッチング補間及びバイキュービック補間の少なくとも一つを用いて前記入力画像を補間することにより前記入力画像を前記サブピクセル精度画像に変換する請求項１４記載の画像処理装置。
【請求項１６】
サブピクセル精度画像をエッジ強調しサブピクセル精度のエッジ強調画像を生成し前記エッジ強調画像を前記サブピクセル精度画像として前記色にじみ抑制部へ出力するエッジ強調部をさらに備える請求項１から１５のいずれか記載の画像処理装置。
【請求項１７】
表示デバイスと、
前記表示デバイスの画素を構成する複数の発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行い処理済みサブピクセル精度画像を出力する色にじみ抑制部と、
前記色にじみ抑制部の前記処理に先立って前記サブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、前記判定結果に基づいて前記色にじみ抑制部を制御する色にじみ判定部と、
前記処理済みサブピクセル精度画像を前記表示デバイスに対応付ける表示制御部とを備える画像表示装置。
【請求項１８】
表示デバイスの画素を構成する発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行う色にじみ抑制ステップと、
前記色にじみ抑制ステップの前記処理に先立って前記サブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、前記判定結果に基づいて前記色にじみ抑制部を制御する色にじみ判定ステップとを備える画像処理方法。
【請求項１９】
前記色にじみ判定ステップでは、前記判定結果に基づいて前記色にじみ抑制ステップの前記処理の適用／非適用を切り替える請求項１８記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＧＢ三原色の発光素子（サブピクセル）を配置した表示デバイスへ表示する画像の画像処理装置、その方法及び画像表示装置に関するものである。
【背景技術】
【０００２】
従来、画像のエッジ部分の先鋭感を向上させたシャープネスの高い画像を生成するために、画像の高域成分を取り出して強調して、元の画像に加算する処理が用いられていた。
【０００３】
特に、ＲＧＢ三原色をそれぞれ発光する３つの発光素子（サブピクセル）により１画素を構成する表示デバイス、例えばプラズマディスプレイパネル（以下「ＰＤＰ」という）や液晶パネル、有機ＥＬ等を用いた表示デバイスにおいては多く用いられる処理手法であった。
【０００４】
図１５は従来の画像処理装置のブロック図である。図１５には、画像のエッジ強調処理の構成が表されている。
【０００５】
画像処理装置１００は、入力画像１０１をエッジ強調処理して出力画像１０５を出力する。入力画像１０１は画像処理装置１００に入力する画像データである。ハイパスフィルタ１０２は入力画像１０１から高周波成分を透過させる。増幅部１０３はハイパスフィルタ１０２の出力データのゲインを増幅する。加算部１０４は入力画像１０１と増幅部１０３の出力を加算して、出力画像１０５を出力する。出力画像１０５はエッジ強調されて出力される画像データである。
【０００６】
処理の詳細を説明する。
【０００７】
まず入力画像１０１の高域成分が、ハイパスフィルタ１０２により抽出される。抽出された高域成分は増幅部１０３で増幅される。アンプなどを用いてゲイン増幅などが行われる。増幅された高域成分は、元の入力画像１０１と加算部１０４において加算されて出力画像１０５が出力される。
【０００８】
このように、高域成分が増幅されることで、画像のエッジ部分（エッジ部分は周波数変化が大きく、高域成分を含む部分である）が強調され、結果として先鋭感の高い画像が出力される。
【０００９】
しかしながら図１５にあらわされるエッジ強調処理では、高域成分が増幅部１０３により固定倍され、エッジ部分がはっきりする反面、エッジ部分が光ってにじんで見える問題があった。例えばビルの輪郭ははっきりするが、輪郭がにじむあるいはギザギザ感が発生する問題があった。
【００１０】
このようなエッジ強調処理によるにじみやギザギザ感を抑えるために、画素を構成する発光素子（サブピクセル）を利用したサブピクセルレンダリング技術が利用される。
【００１１】
図１６は従来の画像処理装置のブロック図である。図１６では、サブピクセルレンダリング技術を適用した構成が表されている。
【００１２】
まず図１６に表される画像処理装置の構成を説明する。
【００１３】
画像処理装置１１０は、入力画像１１１に対してエッジ強調処理とサブピクセルレンダリング技術を施して出力画像１１２を出力する。入力画像１１１は画素（ピクセル）精度の画像であって、画像処理装置１１０に入力する画像データである。出力画像１１２は、サブピクセルレンダリング部１１７の出力画像データであり、エッジ強調とサブピクセルレンダリング技術が施されている。補間部１１３は、画素精度の入力画像１１１をサブピクセル精度の画像データに補間する。ハイパスフィルタ１１４は、高域成分のみを通過させるフィルタであり、補間された入力画像の高域成分を抽出する。増幅部１１５はレベル増幅部であり、ハイパスフィルタ１１４を通過した高域成分を増幅する。加算部１１３はデータを加算する加算部であり、増幅部１１５で増幅された高域成分と補間部１１３で補間された画像データを加算する。サブピクセルレンダリング部１１７は色にじみを抑制し、加算部１１６の出力データが入力する。表示制御部１１８は、表示デバイス１１９での表示を制御し、入力する出力画像１１２を制御する。表示デバイス１１９は、出力画像を実際に表示するデバイスであって、プラズマパネルディスプレイ（以下「ＰＤＰ」という）や、デジタルテレビ、液晶デバイスなどである。
【００１４】
なお、表示デバイスの画素は水平方向に配置されたＲ、Ｇ、Ｂの３つのサブピクセルから構成される。
【００１５】
次にサブピクセルレンダリング部を含む、図１６に示される画像処理装置１１０の動作について説明する。
【００１６】
まず、補間部１１３は画素精度の入力画像１１１を、複数の発光素子を備えるサブピクセル精度の画像データに補間する。サブピクセル精度の画像データは二手に分岐し、一方は加算部１１６に直接入力し、他方はハイパスフィルタ１１４に入力する。ハイパスフィルタ１１４は、入力した画像データから高域成分を抽出し、増幅部１１５に出力する。増幅部１１５は高域成分をゲイン増幅し、加算部１１６に出力する。加算部１１６は、直接入力したサブピクセル精度の画像データと増幅された高域成分を加算する。以上により、高域成分を含むエッジ部分が強調される。
【００１７】
エッジ強調された画像データは、サブピクセルレンダリング部１１７に入力する。
【００１８】
サブピクセルレンダリング部１１７では、入力した画像が輝度成分と色度成分に分解され、輝度成分はローパスフィルタに入力する。輝度成分がローパスフィルタに入力することで、高域成分が減衰され、エッジ部分での色にじみが抑制される（例えば特許文献１参照）。このとき色にじみ抑制としてのフィルタ係数には種々のものが用いられる（例えば、特許文献２、非特許文献２参照）。
【００１９】
色にじみが抑制された画像は画素（ピクセル）精度への画像へ再変換されるが、この変換ではサブピクセル情報を保持して変換が行われるため、出力画像１１２にはサブピクセル精度で処理されたエッジ強調が保持されたまま、表示デバイスに表示されることになる。更に、サブピクセルレンダリング部１１７での色にじみ抑制のためのローパスフィルタを介することにより、図１５に表される画像処理装置と比較して、エッジ部分のギザギザ感を抑制することが可能となる。
【００２０】
なお、本明細書にて用いられる「色にじみ」とは、サブピクセル精度の描画を行う場合に、表示デバイスのサブピクセルの色がＲ、Ｇ、Ｂと異なるために、この色の差から本来表示されて欲しくない色が視覚的に見えてしまうものである。（非特許文献１）において「ｃｏｌｏｒ  ｆｒｉｎｇｅ」と呼ばれるものと同じである。なお、（非特許文献１）については、本発明者らは２０００年６月１９日に確認した。
【００２１】
しかしながら、従来の画像処理装置では、次のような問題点を有している。
【００２２】
サブピクセルレンダリング部での色にじみ抑制のためにローパスフィルタを一様に施すために、高域成分の増幅によりエッジ強調させて向上させた先鋭感が低下してしまう問題があった。
【００２３】
特に、自然画像においてはエッジ部分と非エッジ部分とが混在し、エッジ部分に対しては色にじみが目立つのに対して、非エッジ部分では色にじみが目立たない。このような差異が存在するにもかかわらず、一様にローパスフィルタによる色にじみ抑制を施すことで、先鋭感が低下する問題があった。
【００２４】
例えばビルの輪郭部においては、エッジ強調による色にじみが大きく発生するが、ビルそのものにおいては輪郭が無いため色にじみの発生が少ない。これらの差異を無視して一様に色にじみ抑制を施すと、本来色にじみ発生の少ないビルそのものの部分において、画像がぼやけ先鋭感が失われるという問題があった。
【特許文献１】特許第３４７６７８７号公報
【特許文献２】特開２００２−９９２３９号公報
【特許文献３】特開２００４−２９５９８号公報
【非特許文献１】Ｓｕｂ  Ｐｉｘｅｌ  Ｆｏｎｔ  Ｒｅｎｄｅｒｉｎｇ  Ｔｅｃｈｎｏｌｏｇｙ（http://grc.com/cleartype.html）
【発明の開示】
【発明が解決しようとする課題】
【００２５】
そこで本発明は、先鋭感を低下させること無く色にじみの発生を防止する画像処理装置、その方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
第１の発明に係る画像処理装置は、表示デバイスの画素を構成する複数の発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行う色にじみ抑制部と、色にじみ抑制部の処理に先立ってサブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、判定結果に基づいて色にじみ抑制部を制御する色にじみ判定部とを備える。
【００２７】
色にじみ抑制の不要なサブピクセルに対して、色にじみ抑制を非適用とすることができるので、画像の先鋭感を損なうことなく色にじみを適切に抑制することができる。
【００２８】
第２の発明に係る画像処理装置は、色にじみ判定部は、判定結果に基づいて色にじみ抑制部の処理の適用／非適用を切り替える。
【００２９】
色にじみ判定部における判定結果から、色にじみ抑制の不要なサブピクセルに対して不要な色にじみ抑制を施すことを防止できる。
【００３０】
第３の発明に係る画像処理装置は、色にじみ抑制部は、色にじみ抑制フィルタを備える。
【００３１】
サブピクセル精度の画像に対して、適切な係数を乗算してレベルを適切な状態に変更することで、色にじみ抑制の処理や制御が容易にできる。
【００３２】
第４の発明に係る画像処理装置は、色にじみ抑制フィルタは、複数のタップと、複数のタップのそれぞれに与えられる複数のタップ係数を有する。
【００３３】
色にじみの度合いに応じて適切な係数の組み合わせを乗算することでサブピクセル精度の画像のレベルを適切に変更することができるので、色にじみの度合いに応じて最適な色にじみ抑制フィルタを適用することができる。
【００３４】
第５の発明に係る画像処理装置は、色にじみ抑制部は、互いにタップ係数が異なる複数の色にじみ抑制フィルタを備え、色にじみ判定部は、判定結果に基づいて複数の色にじみ抑制フィルタのいずれかを選択する。
【００３５】
サブピクセル精度の画像のレベルを変化させる最適な係数を乗算することができるので、色にじみの度合いに応じて最適な色にじみ抑制フィルタを選択して適用することができる。
【００３６】
第６の発明に係る画像処理装置は、複数のセットを記憶するタップ係数記憶部をさらに備え、複数のセットを構成するそれぞれのセットは、複数の色にじみ抑制フィルタにそれぞれ与えられる複数のタップ係数により構成され、色にじみ抑制フィルタは、複数のセットのうち判定結果に対応するセットを使用する。
【００３７】
色にじみの度合いに応じて、最適な乗算係数をタップ係数として有する最適な色にじみ抑制フィルタを選択して適用することができる。
【００３８】
第７の発明に係る画像処理装置は、複数のタップ係数の値が特定の組み合わせになるとき、色にじみ判定部は、色にじみ抑制部の処理を非適用とする。
【００３９】
色にじみ抑制フィルタを用いたまま、簡単に色にじみ抑制を非適用とすることができる。
【００４０】
第８の発明に係る画像処理装置は、色にじみ判定部は、セレクタ及びスイッチの少なくとも一方を備え、色にじみ判定部は、セレクタ及びスイッチの少なくとも一方を用いて色にじみ抑制部の処理の適用／非適用を切り替える。
【００４１】
簡単な構成のアーキテクチャを用いるだけなので、色にじみ抑制部の適用／非適用を容易に切り替えることができる。
【００４２】
第９の発明に係る画像処理装置は、色にじみ判定部は、互いに隣接する複数のサブピクセルのデータの差分値と所定の閾値とを比較し比較結果を生成する比較部をさらに備え、色にじみ判定部は、比較結果に基づいて色にじみ抑制フィルタの適用／非適用を切り替える。
【００４３】
色にじみの度合いの高い部分を容易に抽出することができ、色にじみ抑制の制御レベルとの対応を適切に行うことで、最適な色にじみ抑制を実現できる。
【００４４】
第１０の発明に係る画像処理装置は、色にじみ判定部は、互いに隣接する複数のサブピクセルのデータの差分値と所定の閾値とを比較し比較結果を生成する比較部をさらに備え、複数の色にじみ抑制フィルタの平坦化度合いは互いに異なり、色にじみ判定部は、複数の色にじみ抑制フィルタの中から比較結果に対応する平坦化度合いを有する色にじみ抑制フィルタを選択する。
【００４５】
色にじみの度合いの高い部分では平坦化度合いの高い色にじみ抑制フィルタを適用し、色にじみ度合いの低い部分では平坦化度合いの低い色にじみ抑制フィルタを適用できるので、色にじみの度合いに最適に応じた色にじみ抑制フィルタの適用が可能となる。
【００４６】
第１１の発明に係る画像処理装置は、色にじみ判定部は、判定結果を生成するために評価関数を用いる。
【００４７】
評価関数を用いることで、単純に差分値を用いる場合に比べて色にじみ度合いの判定を精細に行うことができる。
【００４８】
第１２の発明に係る画像処理装置は、評価関数は、互いに隣接する複数のサブピクセルのデータの差分値、データの平均値及びデータの分散値の少なくとも一つに従属する。
【００４９】
評価関数として、平均値や分散値などのより詳細な条件を用いて、色にじみ度合いを判定することができるので、色にじみ度合いの精度をより向上させることができる。
【００５０】
第１３の発明に係る画像処理装置は、色にじみ抑制部は、サブピクセル精度画像の輝度成分のみを処理する。
【００５１】
人間の視覚がより敏感に反応する輝度成分のみに、色にじみ抑制を行うことができるので、より効果的な色にじみ抑制を実現することができる。
【００５２】
第１４の発明に係る画像処理装置は、入力画像をサブピクセル精度画像に変換する補間部をさらに備える。
【００５３】
補間により容易にサブピクセル精度画像を生成することができるので、入力画像が画素精度であっても、サブピクセル精度にて色にじみ抑制処理を行うことができる。
【００５４】
第１５の発明に係る画像処理装置は、補間部は、単純補間、直線補間、パターンマッチング補間及びバイキュービック補間の少なくとも一つを用いて入力画像を補間することにより入力画像をサブピクセル精度画像に変換する。
【００５５】
簡単な加算などの処理ですむため。画素精度の画像からサブピクセル精度への変換を容易に行うことができる。
【００５６】
第１６の発明に係る画像処理装置は、サブピクセル精度画像をエッジ強調しサブピクセル精度のエッジ強調画像を生成しエッジ強調画像をサブピクセル精度画像として色にじみ抑制部へ出力するエッジ強調部をさらに備える。
【００５７】
色にじみ抑制に加えて、エッジ強調によりシャープネスの高い先鋭感のある画像を実現することができる。
【００５８】
第１７の発明に係る画像表示装置は、表示デバイスと、表示デバイスの画素を構成する複数の発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行い処理済みサブピクセル精度画像を出力する色にじみ抑制部と、色にじみ抑制部の処理に先立ってサブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、判定結果に基づいて色にじみ抑制部を制御する色にじみ判定部と、処理済みサブピクセル精度画像を表示デバイスに対応付ける表示制御部とを備える。
【００５９】
色にじみの度合いに応じて適切な色にじみ抑制を実行することができるので、適切な色にじみ抑制を実現した画像を表示装置に表示することができる。
【００６０】
第１８の発明に係る画像処理方法は、表示デバイスの画素を構成する発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行う色にじみ抑制ステップと、色にじみ抑制ステップの処理に先立ってサブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、判定結果に基づいて色にじみ抑制部を制御する色にじみ判定ステップとを備える。
【００６１】
色にじみの度合いを判定し、判定結果に基づいて色にじみ抑制の適応を最適に行うことができるので、適切な色にじみ抑制を実現できる。
【００６２】
第１９の発明に係る画像処理方法は、色にじみ判定ステップでは、判定結果に基づいて色にじみ抑制ステップの処理の適用／非適用を切り替える。
【００６３】
色にじみ抑制の不要な画像部分に対しては、色にじみ抑制を実施しないので、先鋭感を消失させる不要な色にじみ抑制を行わずに、先鋭感を維持したままの画像とすることができる。
【発明の効果】
【００６４】
以上のように、本発明によれば、色にじみ抑制を画像の中で必要とされる部分に最適に施すことができ、色にじみ抑制を効果的に実現するとともに、従来問題となっていた色にじみ抑制処理の影響を抑えることができ、サブピクセル精度で処理した画像の先鋭感の低下を抑制することができる。
【００６５】
即ち、最適な色にじみ抑制による色にじみ発生の防止と、先鋭感と精細感の向上を同時実現できるものである。
【００６６】
これにより、ピクセル精度のエッジ強調処理および従来のサブピクセル精度のエッジ強調処理に比べ、より高品位な表示結果を得ることが可能になる。
【発明を実施するための最良の形態】
【００６７】
以下、図面を参照しながら、本発明の実施の形態を説明する。なお、本明細書において、ＲＧＢとはＲｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）の三原色であり、Ｙとは輝度成分、Ｃｒ、Ｃｂは色差成分である。
【００６８】
（実施の形態１）
まず、図１を用いて実施の形態１における画像処理装置の全体の構成について説明する。
【００６９】
図１は、本発明の実施の形態１における画像処理装置のブロック図である。
【００７０】
画像処理装置１は、表示デバイスの画素を構成する複数の発光素子（サブピクセル）にあわせた精度を有し、階調を備えて構成されるサブピクセル精度画像の色にじみを抑制する処理を行う色にじみ抑制部８と、色にじみ抑制部８の処理に先立ってサブピクセル精度画像の色にじみ度合いを判定して判定結果を生成し、判定結果に基づいて前記色にじみ抑制部８を制御する色にじみ判定部７とその周辺の機能を備える装置である。
【００７１】
入力画像２は、画像処理装置１に入力する画像データであり、図１では画素精度を有する画像データである。補間部３は、画素（ピクセル）精度の画像をサブピクセル精度の画像に補間する補間部であり、補間した画像データをローパスフィルタ４に出力する。なお、入力画像２がサブピクセル精度を有する場合には補間部３は不要である。
【００７２】
ローパスフィルタ４は、入力したサブピクセル精度画像の低域成分を抽出するフィルタであり、結果をＲＧＢ−ＹＣｂＣｒ変換部５に出力する。ＲＧＢ−ＹＣｂＣｒ変換部５は、ＲＧＢデータをＹＣｂＣｒ（輝度成分と色差成分）に変換する変換部であり、結果をエッジ強調部６に出力する。エッジ強調部６は、画像のエッジを強調する強調部であり、輝度成分を色にじみ判定部７と色にじみ抑制部８に出力し、色差成分をサブサンプリング部１０に出力する。色にじみ判定部７は、色にじみの度合いを判定する判定部であり、判定結果を切り替え部１４に出力する。色にじみ抑制部８は、画像の色にじみを抑制処理する抑制部であり、処理結果をＹＹＹＣｂＣｒ−ＲＧＢ変換部９に出力する。なお、色にじみ抑制部８は色にじみ抑制フィルタを備えてもよい。
【００７３】
ＹＹＹＣｂＣｒ−ＲＧＢ変換部９は、輝度成分と色差成分をＲＧＢに変換する変換部であり、結果を出力画像１１として出力する。サブサンプリング部１０は、エッジ強調後の色差からピクセル精度の色差を生成し、ＹＹＹＣｂＣｒ−ＲＧＢ変換部９に出力する。出力画像１１はエッジ強調と色にじみ抑制が施された結果の出力画像である。表示制御部１２は、出力画像１１を表示デバイス１３で表示するのを制御する制御部である。表示デバイス１３は、ＰＤＰや液晶パネルなどの実際に画像を表示するデバイスであり、表示制御部１２の制御にしたがって出力画像１１を表示する。切り替え部１４は、色にじみ抑制部での制御を切り替える切り替え部である。なお、切り替え部１４は、図１に表されるように独立に設けられてもよいが、色にじみ抑制部８、もしくは色にじみ判定部７に含まれてもよいものである。
【００７４】
図１に表される画像処理装置１において、補間部３から、ＹＹＹＣｂＣｒ−ＲＧＢ変換部にいたるまでの画像は、サブピクセル精度画像である。
【００７５】
なお、以下の説明では便宜上、発光素子は水平方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順で並んでいるものとする。したがって、実施の形態１における画像処理装置１では、サブピクセル精度画像は水平方向に３倍の情報をもつ画像である。
【００７６】
また、入力画像２と出力画像１１はＲＧＢデータであり、輝度成分と色差成分による色空間は次式でＲＧＢ空間から変換させるＹＣｂＣｒ空間であるとする。
Ｙ  ＝  ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝―０．１７２Ｒ−０．３３９Ｇ＋０．５１１Ｂ
Ｃｒ＝  ０．５１１Ｒ−０．４２８Ｇ−０．０８３Ｂ
なお、実施の形態１においては、輝度成分と色差成分で表現される色空間として上式のものを利用するが、輝度成分と色差成分に分割する色空間であれば他の色空間も利用することが可能である。このような色空間としてＣＩＥ−Ｌａ＊ｂ＊、ＹＵＶなどが考えられる。また、簡易的な色空間として次式で示されるような空間を定義して利用することも可能である。
Ｙ  ＝  Ｇ
Ｃｂ＝  Ｇ−Ｂ
Ｃｒ＝  Ｇ−Ｒ
次に、各部の詳細とその動作について、図１〜図７を用いながら説明する。
【００７７】
まず、補間部３について説明する。
【００７８】
補間部３は、入力画像２のｉ番目の画素から「Ｒｒｉ，Ｇｒｉ，Ｂｒｉ，Ｒｇｉ，Ｇｇｉ，Ｂｇｉ，Ｒｂｉ，Ｇｂｉ，Ｂｂｉ」の９つの成分を生成する。
【００７９】
図２は、本発明の実施の形態１における画像補間の処理の説明図である。図２では、補間部３で単純補間が行われた補間結果が示されている。
【００８０】
単純補間は、入力画像の１画素を単純に３つの画素に変換する。即ち、単純補間での補間の結果は、Ｒｒｉ＝Ｒｇｉ＝Ｒｂｉ＝Ｒｉ，Ｇｒｉ＝Ｇｇｉ＝Ｇｂｉ＝Ｇｉ，Ｂｒｉ＝Ｂｇｉ＝Ｂｂｉ＝Ｂｉとなる。
【００８１】
なお、単純補間以外に、パターンマッチングによる補間、線形補間、バイキュービック補間など、他の方法による補間も同様の効果を有する。また、他の方法による補間では、ローパスフィルタ４を省略することが可能である。
【００８２】
ここで、パターンマッチングによる補間とは、補間対象となる注目画素とその周辺の画素のパターンと、予め定義されているパターンとを比較し、マッチング結果により補間方法を決定する方法である。
【００８３】
本発明では、補間については発明の骨子では無いので詳細な説明は省略する。
【００８４】
なお、図１においては入力画像２がピクセル精度を有しており、補間部３によりサブピクセル精度画像に変換されることを前提に説明したが、入力画像２が、サブピクセル精度画像であるときは、補間部３を省略してもよい。
【００８５】
次に、ローパスフィルタ４について説明する。図２の高域成分２２は、補間部３での補間結果生じる高域部分である。
【００８６】
補間部３でサブピクセル精度に変換された画像は、ローパスフィルタ４に入力する。
【００８７】
ローパスフィルタは、補間部３が単純補間である場合に発生する入力画像２に含まれていない高域部分２２の影響を抑制する。高域成分２２が、入力画像２に含まれていない高域部分である。単純補間により周波数空間が３倍となった場合、その値が「２５５」から「０」に１サブピクセル間で変化するため（高域部分２２で示される部分）、入力画像２の３倍の周波数を持つエッジが生成されている。
【００８８】
ローパスフィルタ４は、この高域部分２２で生じるエッジの影響を抑制し、エッジ強調部６において入力画像２に含まれていないエッジを強調することを防止する。
【００８９】
なお、ローパスフィルタ４はデジタルフィルタでもアナログフィルタでも良く、そのカットオフ周波数などは適宜決められれば良いものである。
【００９０】
次に、ＲＧＢ−ＹＣｂＣｒ変換部５について説明する。
【００９１】
ローパスフィルタ４の出力は、ＲＧＢ−ＹＣｂＣｒ変換部５に入力する。
【００９２】
ＲＧＢ−ＹＣｂＣｒ変換部５は、ＲＧＢで表される色空間を、輝度成分（Ｙ）および色差成分（ＣｒＣｂ）で表される色空間に変換する。ＲＧＢ−ＹＣｂＣｒ変換部５は、補間により生成されたサブピクセル精度画像のｉ番目の成分「Ｒｒｉ，Ｇｒｉ，Ｂｒｉ，Ｒｇｉ，Ｇｇｉ，Ｂｇｉ，Ｒｂｉ，Ｇｂｉ，Ｂｂｉ」を「Ｙ３ｉ−２、Ｃｂ３ｉ−２，Ｃｒ３ｉ−２，Ｙ３ｉ−１、Ｃｂ３ｉ−１，Ｃｒ３ｉ−１，Ｙ３ｉ、Ｃｂ３ｉ，Ｃｒ３ｉ」に変換する。このように輝度成分と色差成分で表される色空間に変換された画像は、次のエッジ強調部６に入力する。
【００９３】
次に、エッジ強調部６について、図３（ａ）、図３（ｂ）を用いて説明する。図３（ａ）は縦軸がレベルで横軸が画素の水平位置であるローパスフィルタ出力後のデータグラフである。図３（ｂ）は縦軸がレベルで横軸が画素の水平位置であるエッジ強調後のデータグラフである。
【００９４】
ローパスフィルタ出力データ２５はローパスフィルタ４を出力した画像データのレベルを示している。エッジ強調部出力データ２６はエッジ強調部６を出力データのレベルを示している。
【００９５】
ＹＣｂＣｒ成分に変換された画像データは、エッジ強調部６に入力し、エッジ強調処理が施される。図３（ａ）、図３（ｂ）より明らかな通り、エッジ強調部６を出力したデータのレベルは、エッジ部分で高くなっている。即ちエッジ部分が強調されている。
【００９６】
エッジ強調部６でのエッジ強調処理により、「Ｙ’３ｉ−２、Ｃｂ’３ｉ−２，Ｃｒ’３ｉ−２，Ｙ’３ｉ−１、Ｃｂ’３ｉ−１，Ｃｒ’３ｉ−１，Ｙ’３ｉ、Ｃｂ’３ｉ，Ｃｒ’３ｉ」の成分を有する画像データが生成される。
【００９７】
エッジ強調処理は、本発明の骨子となる部分ではないので、詳細な説明は省略するが、例えば図３に表されるように、ローパスフィルタ４の出力画像データ２５が、エッジ強調部６の出力画像データ２６に表されるデータに変換される。
【００９８】
このようなエッジ強調処理が施されることで、例えば入力画像において物体の輪郭部分などが強調されシャープネスの高い画像が生成される。
【００９９】
エッジ強調部６の具体的な構成の一例としては、入力する画像データの高域成分をハイパスフィルタで抽出し、抽出された高域成分を増幅処理して再び入力データと加算する方式がある。勿論、エッジを強調するものであれば、これ以外の構成であっても良く、ハードウェアで処理されても、ソフトウェアで処理されても良いものである。
【０１００】
また、エッジ強調部６での処理は、エッジ強調にとどまらず、画像の先鋭感、あるいは精細感を向上させる処理なども含むものであってよい。例えば、シャープネス向上、コントラスト強調、色度強調、濃度強調などの処理が含まれる。
【０１０１】
次に色にじみ判定部７について説明する。説明の便宜のため、色にじみ抑制部８とあわせて説明する。
【０１０２】
エッジ強調部６の出力のうち、輝度成分が色にじみ判定部７に入力する。色にじみ判定部７は、輝度成分データに基づき色にじみの度合いを判定し、色にじみの度合いの強弱に応じて色にじみ抑制部８の動作を制御する。例えば、色にじみ抑制部８での色にじみ抑制を適用、もしくは非適用とする制御を行う。あるいは色にじみ判定部７は、色にじみ抑制部８における色にじみ抑制のレベルを切り替え制御し、最適な色にじみ抑制を行うための判定を行う。
【０１０３】
色にじみ抑制部８は、色にじみ判定部７の結果に従い、実際の色にじみ抑制を実行する。色にじみ抑制部８には、アンプ、減衰器（アッテネーター）や、色にじみ抑制フィルタが用いられる。好ましくは色にじみ抑制フィルタが用いられる。制御の容易性などの理由からである。もちろん、アンプや乗算器や加算器の組み合わせが用いられても良い。
【０１０４】
色にじみ判定部７が、色にじみ度合いが低いと判定した場合には、輝度成分Ｙ’に対して、色にじみ抑制部８を非適用とする。あるいは色にじみ度合いが高いと判定した場合には、輝度成分Ｙ’に対して、色にじみ抑制部８を適用するという、単純判定を行う。あるいは、色にじみ判定部７が、その判定結果に従って、色にじみ抑制部８での抑制レベルを適宜切り替える。例えば、色にじみ抑制部８が色にじみ抑制フィルタである場合には、色にじみ抑制フィルタのタップ係数を切り替える、あるいは、予め用意されているタップ係数の異なる複数の色にじみ抑制フィルタを任意に選択適用することを行う。これらにより、最適な色にじみ抑制を実現することができるものである。
【０１０５】
なお、切り替え部１４は色にじみ抑制部８での制御を行う。ここで、図１のように色にじみ判定部７と別個独立に設けられても良いが、色にじみ判定部７に含まれても良い。ハードウェア、ソフトウェアに係らず、切り替え部１４は独立ではなく、色にじみ判定部７に含まれるのが好ましい。実装上の容易性が高いからである。
【０１０６】
まず、一例を、図４を用いて説明する。
【０１０７】
図４は本発明の実施の形態１における色にじみ判定部と色にじみ抑制部のブロック図である。
【０１０８】
図４は、隣接するサブピクセル同士の差分値を検出し、その差分値の最大値が任意の閾値以上の場合に、色にじみ抑制部８を適用し、閾値未満では非適用とする構成を表している。ここでは、エッジ強調処理された輝度成分Ｙ’が入力しており、Ｙ’ｉを中心に前後２個ずつのサブピクセルが入力している。
【０１０９】
遅延素子３０は、フリップフロップやラッチなどが用いられ、サブピクセルの信号が入力する。差分値算出部３１は、差分値を隣接するサブピクセルの差分の絶対値を算出する。加算器などが用いられる。最大値抽出部３２は、隣接するサブピクセルの差分の絶対値の最大値を検出する算出部であり、差分値算出部３１の出力から最大値を検出する。任意の閾値３３は、仕様に応じて決定される閾値であり、最大値と比較される。閾値３３は、可変に設定可能である。例えばソフトウェアやレジスタなどから適宜、可変に設定可能である。比較部３４は閾値３３と最大値抽出部３２の出力を比較して、比較結果を制御部３５に出力する。制御部３５は、色にじみ抑制部８の適用／非適用を切り替える。ここでは色にじみ抑制フィルタ３６の適用／非適用を切り替える。色にじみ抑制フィルタ３６は、サブピクセルの画像データＹ’の色にじみを抑制して画像データＹ’’を出力する。非適用端子３７は、スイッチの端子であり、制御部３５で色にじみ抑制フィルタ３６を非適用とする場合に接続される。適用端子３８は、スイッチの端子であり、制御部３５で色にじみ抑制フィルタ３６を適用する場合に接続される。
【０１１０】
動作の詳細を説明する。
【０１１１】
差分値算出部３１は、色にじみ判定部７に入力されたエッジ強調された輝度成分Ｙ’ｉを中心とし、前後２ずつの計５つの値「Ｙ’ｉ−２、Ｙ’ｉ−１、Ｙ’ｉ、Ｙ’ｉ＋１、Ｙ’ｉ＋２」から、値「Ｙ’ｉ−２とＹ’ｉ−１」の差の絶対値、値「Ｙ’ｉ−１とＹ’ｉ」の差の絶対値、値「Ｙ’ｉとＹ’ｉ＋１」の差の絶対値、値「Ｙ’ｉ＋１とＹ’ｉ＋２」の差の絶対値をそれぞれ算出する。
【０１１２】
算出された４つの差の絶対値から、最大値抽出部３２は最大値を抽出し、比較部３４に出力する。
【０１１３】
比較部３４は、任意に設定された閾値３３と、入力した最大値とを比較して、最大値が閾値以上か未満かを判定する。
【０１１４】
最大値が閾値未満の場合には、色にじみ抑制フィルタ３６が非適用となる。即ち、色にじみ抑制部８の出力Ｙ”ｉがＹ’ｉとなる。
【０１１５】
これにより、最大値が閾値未満の部分、即ち隣接サブピクセル間の輝度差が小さく、色にじみが発生しにくい部分についてはエッジ強調されたデータが、色にじみ抑制されること無くそのまま出力する。
【０１１６】
また、最大値が閾値以上の部分、即ち隣接サブピクセル間の輝度差が大きく色にじみが発生しやすい部分については、色にじみ抑制フィルタ３６が適用され、適用結果がＹ”ｉとして出力される。これにより色にじみが発生しやすい部分については色にじみ抑制が施され、色にじみが抑制される。
【０１１７】
これにより、視覚的に色にじみが気にならない部分については色にじみ抑制部が非適用となり、エッジ強調された画像がそのまま出力される。逆に色にじみが気になる部分については色にじみ抑制が適用され、色にじみを抑えることが可能となる。以上により、色にじみを抑制しつつ、色にじみ抑制部８によるエッジ部分などの画像のぼやけを抑えることができ、エッジ強調と色にじみ抑制を両立させた先鋭感のある画像を実現することができる。
【０１１８】
次に、図５を用いて別の例について説明する。
【０１１９】
図５は本発明の実施の形態１における色にじみ判定部と色にじみ抑制部のブロック図である。
【０１２０】
図５では、色にじみ判定部７が、互いに隣接する複数のサブピクセルのデータの差分値と所定の閾値とを比較し比較結果を生成するレンジ判定部３９を備えている。更に、色にじみ抑制部８は、複数の色にじみ抑制フィルタを備え、複数の色にじみ抑制フィルタの平坦化度合いは互いに異なっている。また、比較結果に応じて、適用される平坦化度合いをもつ色にじみ抑制フィルタが選択される構成が表されている。
【０１２１】
第一閾値３３ａ、第二閾値３３ｂ、第Ｎ閾値３３ｃは、それぞれ任意の閾値であり、隣接サブピクセルの差分値の最大値のレンジを決める基準となる。これらの複数の閾値は可変に定められる。
【０１２２】
レンジ判定部３９は、差分値の最大値のレンジ（色にじみ度合いの段階）を判定する。セレクタ４１は、複数の色にじみ抑制フィルタ４２、４３、４４を選択する。第一色にじみ抑制フィルタ４２は、任意のタップ係数セットを有するフィルタであり、平坦化度合いがもっとも高いフィルタである。第二色にじみ抑制フィルタ４３は、第一色にじみ抑制フィルタと異なるタップ係数セットを有するフィルタであり、平坦化度合いが第一色にじみ抑制フィルタ４２より小さい。非適用部４４は、フィルタ効力が実際には無いフィルタであり、色にじみ抑制が非適用となる。
【０１２３】
次に、動作について説明する。
【０１２４】
レンジ判定部３９は、複数の任意の閾値３３ａ〜３３ｃにより、差分値の最大値のレンジが判定し、色にじみ度合いを段階的に多値データとして色にじみ抑制部８に出力する。
【０１２５】
例えば、第一閾値３３ａと第二閾値３３ｂとの間にあるレンジ値、第二閾値３３ｂと第三閾値（図示せず）の間にあるレンジ値などのように、多値データとして、色にじみ抑制部８に出力するものである。
【０１２６】
色にじみ抑制部８は、入力した多値データに基づき、最適なタップ係数セットを有する色にじみ抑制フィルタを選択して、エッジ強調後のデータＹ’に、フィルタ処理を施す。
【０１２７】
例えば、第一色にじみ抑制フィルタ４２は隣接サブピクセルの差分値が非常に大きい場合に選択される。第二色にじみ抑制４３フィルタは、隣接サブピクセルの差分値が中程度の場合に選択され、隣接サブピクセルの差分値が最小の場合には、非適用部４４が選択され、フィルタ処理が実行されないものである。色にじみの大きい部分では、平坦化度合いを高める必要があるからである。
【０１２８】
このように、予め異なるタップ係数のセットを有する複数の色にじみ抑制フィルタから構成される色にじみ抑制部８と、多値としてレンジ判定する色にじみ判定部とを、セレクタ４１を介して組み合わせることで、図４で示されるような適用、非適用のみの区別だけでないきめ細かな色にじみ抑制が可能となる。結果として、非常に効果的に色にじみを抑制しつつ、色にじみ抑制部８によるエッジ部分などの画像のぼやけを抑えることができ、エッジ強調と色にじみ抑制を両立させた先鋭感のある画像を実現することができる。
【０１２９】
なお、色にじみの度合いが強い場合ほど、平坦化度合いの強い色にじみ抑制フィルタが適用されて、最適な色にじみ抑制が実現される。これにより、隣接サブピクセルの差分値の大きい部分においては、平坦化度合いの強い色にじみ抑制フィルタが適用されて、色にじみ抑制を強度に施すことができるものである。これにより、色にじみの発生しやすい画像部分におけるぼやけ感を抑制し、より高精細な画像を実現することができる。
【０１３０】
次に、図５のように予めタップ係数の異なる複数の色にじみ抑制フィルタ４２、４３を用いるのではなく、色にじみ抑制フィルタのタップ係数を連続的に変化させる構成について説明する。
【０１３１】
色にじみ判定部７で演算される隣接サブピクセルの差分値の最大値を引数として、タップ係数を連続的に変化させることができる。
【０１３２】
例えば、差分値の最大値を、差の大きさに対して値「０．０〜１．０」に正規化した値をＭとする。
【０１３３】
この時、３タップフィルタのタップ係数セットは次のように算出される。差分値が最大値「１．０」の場合には、タップ係数セットは、比「１：１：１」で算出される。差が最小値「０．０」の場合には、タップ係数セットは比「０：３：０」（「０：１：０」と等価）で算出される。
【０１３４】
以上より、３タップの色にじみ抑制フィルタのタップ係数「ａ：ｂ：ｃ」は以下の式により求めることができる。
ａ＝Ｍ
ｂ＝１＋２（１−Ｍ）
ｃ＝Ｍ
また、５タップのフィルタの場合には、次のように求められる。差分値が最大値の場合には、比「１：２：３：２：１」のタップ係数セットが算出される。差分値が最小値の場合には０：０：３：０：０となるタップ係数を決定する場合には、５タップの色にじみ抑制フィルタのタップ係数ａ：ｂ：ｃ：ｄ：ｅに以下の式により求めることができる。
ａ＝ＭｘＭ
ｂ＝２ｘＭｘ（１＋２ｘ（１−Ｍ））
ｃ＝２ｘＭｘＭ＋（１＋２ｘ（１−Ｍ））ｘ（１＋２ｘ（１−Ｍ））
ｄ＝２ｘＭｘ（１＋２ｘ（１−Ｍ））
ｅ＝ＭｘＭ
上記の式により決定されるタップ係数は、いずれも差の最大値が小さい場所、つまり色にじみが少ない部分ではフィルタの平坦度が小さくなり、大きい場所、つまり色にじみが見えやすい部分ではフィルタの平坦度が大きくなるなタップ係数となる。
【０１３５】
したがって、上記の式により決定されたタップ係数を有する色にじみ抑制フィルタを用いることにより、画像の状態に応じた最適な色にじみ抑制が実現されることになる。これにより、色にじみを抑制しつつ、画像のぼやけ感を抑制することを両立させ、高精細な表示を実現することができる。
【０１３６】
なお、タップ係数の決定方法は、ここに示した方法に限らず、差の絶対値を特徴量とし、これが大きくなるにつれ色にじみ抑制フィルタの平坦度が大きくなるものであれば他のものを利用しても同様の効果が期待できる。
【０１３７】
次に、図６を用いて更に別の例について説明する。
【０１３８】
図６は、本発明の実施の形態１における色にじみ判定部と色にじみ抑制部のブロック図である。
【０１３９】
図６では、複数のセットを記憶するタップ係数記憶部を備えた構成が表されている。ここで、複数のセットを構成するそれぞれのセットは、前記複数の色にじみ抑制フィルタにそれぞれ与えられる複数のタップ係数により構成されており、色にじみ抑制フィルタは、複数のセットのうち色にじみ判定部での判定結果に対応するセットを使用する。
【０１４０】
色にじみ抑制フィルタ５０は、色にじみを抑制するフィルタであり、タップ係数記憶部５１に記憶されたタップ係数のセットを使用する。タップ係数記憶部５１は、タップ係数のセットを記憶する記憶部であり、テーブルやメモリなどで構成される。タップ係数部５２は、色にじみ抑制フィルタ５０が使用するタップ係数が与えられる部分である。
【０１４１】
色にじみ判定部７では、図５の場合と同じく複数の閾値３３ａ〜３３ｃと差分値の最大値の比較から、レンジ判定を行い、多値データとして、色にじみ抑制フィルタ５０に出力する。多値データは色にじみ抑制フィルタ５０に存在するタップ係数記憶部５１に入力する。
【０１４２】
タップ係数記憶部５１には、例えば色にじみ抑制フィルタ５０が５タップのフィルタであれば５タップに対応したタップ係数のセットが複数種類記憶されている。あるいは３タップのフィルタであれば、３タップに対応したタップ係数のセットが複数種類記憶されている。
【０１４３】
勿論、タップ数が異なっても良いように、異なるタップ数に合わせたタップ係数のセットが混在して記憶されていることも好適である。
【０１４４】
更に、タップ係数記憶部５１は必要に応じて値を更新できるように書き換え可能な半導体メモリや光記憶、磁気記憶装置が用いられることも好適である。
【０１４５】
レンジ判定部３９は、図５の場合と同様に第一閾値３３ａと第二閾値３３ｂの間である値、第二閾値３３ｂと第三閾値（図示せず）の間である値などの多値データを出力し、これに応じてタップ係数記憶部５１から最適なタップ係数のセットが選択される。例えば、差分値の最大値が大きい（即ち、エッジ部分であって色にじみ度合いの大きい部分）場合には、平坦化度の大きいタップ係数のセットが選択されて、タップ係数部５２に適用される。あるいは、差分値の最大値が小さい（即ち、エッジ以外の部分であって、色にじみ度合いの小さい部分）場合には、平坦化度の小さいタップ係数のセットが選択されて、タップ係数部５２に適用される。
【０１４６】
このように、最適なタップ係数のセットが選択されることで、色にじみ抑制フィルタ５０での色にじみ抑制が最適に実行されることになる。
【０１４７】
また、５タップの色にじみ抑制フィルタ５０を使う場合には、タップ係数を「０、０、１、０、０」とすることで、実質的にフィルタを非適用とすることができる。この比「０、０、１、０、０」のように、タップ係数が特定の組み合わせになることで、色にじみ抑制フィルタを非適用とすることができる。
【０１４８】
以上のように、多値データとして、色にじみ度合いを判定した結果に基づき、タップ係数記憶部５１から最適なタップ係数のセットを選択して、色にじみ抑制フィルタ５０を実現することで、色にじみ度合いに応じて色にじみを抑制しつつ、画像のぼやけ感を抑制することを両立させ、先鋭感と高精細を有する画像を実現することができる。
【０１４９】
なお、図６のようにタップ係数記憶部５１を用いることで、図４のように、複数の色にじみ抑制フィルタを用いるよりも、回路規模やソフトウェアの処理規模、消費電力などを削減できるメリットがあり、更に、事後的に係数を変更できるメリットもある。
【０１５０】
なお、色にじみ判定部７は隣接サブピクセル間の差分値と閾値の比較を用いているが、これ以外でも隣接サブピクセル間の差分値を利用した色にじみの度合いの尺度となる評価関数でも良いものである。
【０１５１】
このような評価関数は、例えは、隣接サブピクセル間の差分値の平均値、分散値、偏差値などを利用できる。
【０１５２】
次に、色にじみ抑制フィルタの詳細について図７〜図９を用いて説明する。
【０１５３】
図７は、本発明の実施の形態１における色にじみ抑制フィルタの処理の説明図である。
【０１５４】
図７は、色にじみ抑制フィルタを適用した一例を示している。図７のように色にじみ抑制フィルタは、入力データＹ’ｉ＋２とその隣接画素に対して以下の式のフィルタ計算を行い、出力データＹ”ｉ＋２を出力する。
【０１５５】
Ｙ”ｉ＋２＝３／９Ｙ’ｉ  ＋２／９（Ｙ’ｉ＋１  ＋  Ｙ’ｉ−１）＋１／９（Ｙ’ｉ＋２  ＋  Ｙ’ｉ−２）
なお、このタップ係数は一例であり、色にじみが抑制されるフィルタであればどのようなものでよい。例えば、比「１：１：１」、もしくは比「１：２：１」を有する３タップの色にじみ抑制フィルタでもよい。あるいは、比「１：２：２：２：１」を有する５タップの色にじみ抑制フィルタでも同様の効果を奏する。
【０１５６】
図８は、本発明の実施の形態１における色にじみ抑制フィルタの別の処理の説明図である。
【０１５７】
図８では、色にじみ抑制フィルタが非適用とされた例が表されている。このため、入力データＹ’がそのまま出力データＹ”として出力される。
【０１５８】
図９は、本発明の実施の形態１における色にじみ抑制フィルタの更に別の処理の説明図である。
【０１５９】
図９は、サブピクセルの内、任意のサブピクセルのみに色にじみ抑制フィルタが適用されている場合を表している。
【０１６０】
例えば、図５などに表された色にじみ判定部７において、隣接するサブピクセル毎に差分値が順次算出される。この順次算出された差分値の大きいサブピクセルに対しては色にじみ抑制フィルタを適用し、差分値の小さいサブピクセルに対しては色にじみ抑制フィルタを非適用とすること（即ち図９に表される状態）も好適である。
【０１６１】
このように、差分値の最大値から、注目サブピクセルとその前後のサブピクセルの全てに一様に色にじみ抑制フィルタを適用するのではなく、サブピクセルによって部分的に非適用とすることも効果的な色にじみ抑制が可能となる。
【０１６２】
なお、実施の形態１では、色にじみ判定部７は隣接サブピクセルの差分値を取る範囲を、色にじみ抑制フィルタが処理する範囲と同一にしている。このように同一にすることで、色にじみ抑制フィルタのタップ数にあわせて閾値比較が行われるようになるため、高い色にじみ抑制効果が期待できる。
【０１６３】
このように、色にじみ判定部が判定に利用するサブピクセル範囲と色にじみ抑制フィルタがフィルタを施すサブピクセル範囲が一致していることが好ましい。しかし、処理を簡単にするために注目するサブピクセルとそれに隣接するサブピクセルとの差分地のみで判定する、あるいはより広いサブピクセル範囲を判定に利用してもよい。
【０１６４】
以上の、色にじみ判定部７により、色にじみの度合いの高い部分と低い部分とを適切に判定し、この判定に従って色にじみ抑制部８（色にじみ抑制フィルタであっても同様）が抑制レベルの切り替えや、適用、非適用の切り替えを行うことで、画像の状態に応じて、エッジ強調と色にじみ抑制を両立させ、ぼやけ感の少ない先鋭感と精細感の高い画像を実現できるものである。
【０１６５】
次に、サブサンプリング部１０について説明する。
【０１６６】
エッジ強調後の色差成分は、サブサンプリング部１０によりサブサンプリングが行われ、ピクセル精度のデータに変換される。サブサンプリングの方法としては例えば、３サブピクセル毎に平均を取る方法や、単純間引きなどの一般的なスケーリング手法が利用できる。
【０１６７】
このサブサンプリング部１０は、エッジ強調後の色差（Ｃｂ’３ｉ−２，Ｃｒ’３ｉ−２，Ｃｂ’３ｉ−１，Ｃｒ’３ｉ−１，Ｃｂ’３ｉ，Ｃｒ’３ｉ）から、ピクセル精度の色差（Ｃ”ｂｉ、Ｃ”ｒｉ）が生成して、ＹＹＹＣｂＣｒ−ＲＧＢ変換部９に出力する。
【０１６８】
次にＹＹＹＣｂＣｒ−ＲＧＢ変換部９について説明する。
【０１６９】
ＹＹＹＣｂＣｒ−ＲＧＢ変換部９は、色にじみ抑制部８から出力された輝度成分（Ｙ”３ｉ−２，Ｙ”３ｉ−１，Ｙ”３ｉ）とサブサンプリング部１０の出力である色差成分（Ｃｂ”ｉ、Ｃｒ”ｉ）から出力画像１１（Ｒ’ｉ，Ｇ’ｉ，Ｂ’ｉ）を生成する。生成する方法は、例えば（特許文献２）に記載の方法がある。
【０１７０】
次の式はＹＹＹＣｂＣｒ−ＲＧＢ変換部の変換式の一例である。
Ｒ’ｉ＝Ｙ”３ｉ−２  ＋  １．３７１Ｃｒ”ｉ
Ｇ’ｉ＝Ｙ”３ｉ−１  ―  ０．６９８Ｃｒ”ｉ  −  ０．３３６Ｃｂ”ｉ
Ｂ’ｉ＝Ｙ”３ｉ  ＋  １．７３２Ｃｂ”ｉ
出力画像１１は、表示制御部１２に出力され、表示制御部１２において表示デバイス１３で表示可能に制御されて出力される。これにより、表示デバイス１３において出力画像１１が表示される。
【０１７１】
表示デバイス１３としてはＰＤＰや液晶パネルなどのＲＧＢにより画素が構成されるデバイスが好適である。
【０１７２】
なお、これら以外でもデジタルビデオ、デジタルカメラなどで用いられる表示デバイスであっても良いものである。
【０１７３】
最後に、図１０を用いて画像処理の流れを説明する。
【０１７４】
図１０は、本発明の実施の形態１における画像処理の説明図である。
【０１７５】
図１０は、入力画像２から出力画像１１までの処理の流れを説明したものである。
【０１７６】
最上段には、ＲＧＢからなる画素精度の入力画像２が表されている。これが補間部３にて補間されることにより、サブピクセル精度画像に変換される。次いで、ＲＧＢ−ＹＣｂＣｒ変換部５において、ＲＧＢデータから輝度成分（Ｙ）と色差成分（ＣｒＣｂ）を有するサブピクセル精度画像に変換される。更に、エッジ強調部６において、エッジ強調が施され、輝度成分（Ｙ）に関しては色にじみ抑制部８において、適切な色にじみ抑制が施され、色差成分（ＣｒＣｂ）に関してはサブサンプリング部１０においてピクセル精度画像に変換される。最後にＹＹＹＣｂＣｒ−ＲＧＢ変換部９において、ＲＧＢデータでありピクセル精度画像の出力画像１１が生成される。この流れで、画像処理装置１においては、画像が処理される。
【０１７７】
以上のように、色にじみ判定部７が、色にじみの度合いの高い部分と低い部分とを適切に判定し、この判定に従って色にじみ抑制部８（色にじみ抑制フィルタであっても同様）が抑制レベルの切り替えや、適用、非適用の切り替えを行うことで、従来の課題を解決し、画像の状態に応じて、エッジ強調と色にじみ抑制を両立させ、ぼやけ感の少ない先鋭感と精細感の高い画像を実現できるものである。
【０１７８】
なお、実施の形態１では入力画像がＲＧＢ画像である場合について説明した。それ以外のカラー画像が入力画像である場合にはＲＧＢ―ＹＣｂＣｒ変換部５を適切な色空間変換手段に変更することで同様の効果を実現可能である。特に、ＹＣｂＣｒで入力画像が入力される場合には、この部分を省略することができる。
【０１７９】
また、図１に示される構成では、ＲＧＢ―ＹＣｂＣｒ変換部５の処理後にエッジ強調部６によるエッジ強調が行われている。エッジ強調は輝度・色差成分で表現される色空間でも実行可能であるので、エッジ強調部６でエッジ強調を行った後に、ＲＧＢ―ＹＣｂＣｒ変換部５で色空間変換を行っても良い。
【０１８０】
また、図１に示される構成では、入力画像２がカラーデータ画像である場合を想定している。これに対して、入力画像２がグレースケール画像である場合には、入力データは画像の輝度成分のみと同等（即ち色差成分が無いものとみなすことができる）であるとみなすことができ、色差成分に付随するＲＧＢ―ＹＣｂＣｒ変換部５，サブサンプリング部１０、ＹＹＹＣｂＣｒ−ＲＧＢ変換部９は省略することができる。
【０１８１】
また、図１に示される構成の一部、もしくは全部はハードウェアで実現されても良く、ソフトウェアで実現されても良いものである。またハードウェアとソフトウェアに分けて実装されても良いものである。なお、事後的に変更の必要なデータ（例えばタップ係数テーブルなど）に係る部分はソフトウェアで実装されることが好ましい。
【０１８２】
また、ハードウェアで実現される場合には、その一部、もしくは全部がＬＳＩなどの集積回路で実現されることで、小型化や省電力化が実現されるメリットを有するものである。
【０１８３】
なお、本発明では色にじみの抑制とエッジ強調向上の両立を図るものであるから、２値画像（即ち白黒画像）には適用できるが効果は少なく、カラーデータ、もしくはグレースケールなどの階調を備えた画像のいずれかに適用することが好適である。
【０１８４】
（実施の形態２）
次に図１１〜１４を用いて、本発明の実施の形態２について説明する。
【０１８５】
図１１、図１２、図１３は、本発明の実施の形態２における画像処理のフローチャートである。図１４は本発明の実施の形態２における画像処理装置のブロック図である。
【０１８６】
図１４において、入力画像６０は画像処理装置に入力する画像データである。色にじみ抑制部６１は、入力画像６０の色にじみを抑制する抑制部である。色にじみ判定部６２は、色にじみの度合いを判定する判定部であり、判定結果により色にじみ抑制部６１の処理を制御する。出力画像６３は、色にじみ抑制部６１での処理が施された出力画像データである。入力画像６０、出力画像６３はそれぞれサブピクセル精度の画像データである。
【０１８７】
なお、色にじみ抑制部６１は実施の形態１で説明したとおり、色にじみ抑制フィルタでもよく、その構成は実施の形態１で説明したとおり、種々のものがある。また、色にじみ判定部６２も実施の形態１で説明したのと同様である。
【０１８８】
ここで、入力画像６０は水平方向に座標ｘ、垂直方向に座標ｙによりラベルづけされており画像データＡ（ｘ，ｙ）の形式で参照され、同様に出力画像は画像データＢ（ｘ，ｙ）で参照されるものとする。
【０１８９】
まず図１１を用いて１画像分の色にじみ抑制処理のフローを説明する。ここで、色にじみ抑制部６１が色にじみ抑制フィルタであるとして説明する。
【０１９０】
ここで、水平ライン補正処理は、出力画像として一度計算された値を用いて閾値計算が再度行われる処理である。これにより、閾値を超えてしまった部分に対して再計算が行われ、より精度の高い色にじみ抑制処理が実現されることになる。
【０１９１】
図１１で、変数ＣＯＵＮＴは、水平ライン補正処理を行った数を表す。
【０１９２】
最初に、ステップ１にて動作開始となる。次に、ステップ２にて、画像ライン上端に座標ｙが設定される。更にステップ３にて、水平１ライン分の色にじみ抑制フィルタの適用が行われる。次に、ステップ４にて変数ＣＯＵＮＴに値「０」が設定される。次いで、ステップ５にて、水平ライン補正処理が行われる。次に、ステップ６にて、変数ＣＯＵＮＴの値が「０」、もしくはそれ以外かが判定される。
【０１９３】
水平ライン補正処理は、補正が発生した場合に変数ＣＯＵＮＴが値「０」以外の値に設定されるので、ステップ６にて、補正発生がチェックされ、補正が発生した場合には再びステップ５にて、水平ライン補正処理が繰り返される。補正が発生しなかった場合（変数ＣＯＵＮＴが値「０」であった場合）には、ステップ７にて、垂直方向が１ライン下に移動される。次いで、ステップ８にて、全ての水平ラインの処理が終わるまで、水平ライン処理を１ライン戻して処理が繰り返される。最後に、ステップ９にて処理が終了する。
【０１９４】
以上のように、ラインを上端に設定し、ラインを一つずつ下に下げながら水平ラインへの色にじみ抑制処理を行うことで、入力画像全体の色にじみ抑制処理が行われる。
【０１９５】
次に、図１２を用いてステップ３での水平ライン処理についての詳細を、図１３を用いてステップ５での水平ライン補正処理の詳細について説明する。
【０１９６】
図１２、図１３において、変数ｄｅｌｔａは隣接サブピクセルの差分値であり、変数Ｎは色にじみ抑制フィルタのタップ係数の種類を表すものであり、変数Ｃは、フィルタ処理を行った結果が代入される変数であり、閾値は差分値と比較する任意に設定される閾値である。変数Ａ、Ｂはそれぞれ任意のサブピクセルを表すものである。
【０１９７】
まず、水平ライン処理について図１２を用いて説明する。
【０１９８】
水平ライン処理では、最初に、ステップ１１にて、処理が開始される。次に、ステップ１２にて、ライン左端（座標ｘ＝０）に注目画素が設定される。次に、ステップ１３にて、注目画素と周辺の画素の差分値ｄｅｌｔａＡ、差分値ｄｅｌｔａＢが計算される。差分値ｄｅｌｔａＡは、注目画素の左側の画素と注目画素の差であり、左側の画素としては、フィルタ処理後の結果データＢ（ｘ−１，ｙ）を利用する。また、右側の画素はフィルタ処理前のデータＡ（ｘ＋１，ｙ）を利用する。したがって、差分値ｄｅｌｔａＡ、差分値ｄｅｌｔａＢは次式の計算によって行われることになる。
ｄｅｌｔａＡ＝｜Ａ（ｘ，ｙ）−Ｂ（ｘ−１，ｙ）｜
ｄｅｌｔａＢ＝｜Ａ（ｘ，ｙ）−Ａ（ｘ＋１，ｙ）｜
次に、ステップ１４にて、差分値ｄｅｌｔａＡ、差分値ｄｅｌｔａＢのいずれかが、閾値と比較される。もし、いずれかが大きい場合にはステップ１５へ、これ以外の場合にはステップ２１に処理を移す。
【０１９９】
ステップ１５にて、変数Ｎに値「０」が設定される。次にステップ１６にて、色にじみ抑制フィルタのＮ番目のタップ係数を用いてフィルタ処理が行われ、その結果が変数Ｃに代入される。次いでステップ１７にて、、再び次式を用いて差分値ｄｅｌｔａＡ、差分値ｄｅｌｔａＢが計算される。
ｄｅｌｔａＡ＝｜Ｃ−Ｂ（ｘ−１，ｙ）｜
ｄｅｌｔａＢ＝｜Ｃ−Ａ（ｘ＋１，ｙ）｜
ステップ１９にて、この結果得られた差分値ｄｅｌｔａＡ、差分値ｄｅｌｔａＢのどちらか一方が閾値を越えているかが判定される。もし閾値を超えている場合には、ステップ１８にてＮ＋１番目のタップ係数によるフィルタ処理が適用され、再びステップ１９にて閾値判定が行われる。なお、実施の形態２では、色にじみ抑制フィルタのタップ係数は０番目のタップ係数が最も平坦化度合いが低く、番号が大きなタップ係数ほど平坦度合いが高いものとする。
【０２００】
したがって、ステップ１６〜１９のループを繰り返すことで、序々に平坦度の高いタップ係数を有する色にじみ抑制フィルタに変えながら、閾値との比較を行うことができる。この処理フローにより、画像の状態に対して最適な平坦度を有するタップ係数を持つ色にじみ抑制フィルタが選択されて、適用されることになる。
【０２０１】
次に、ステップ２０にて、Ｎ番目のタップ係数で処理した結果Ｃを画像データＢ（ｘ、ｙ）に書き込む。なお、ステップ１４にて差分値ｄｅｌｔａＡ、差分値ｄｅｌｔａＢが閾値以下であった場合には、ステップ２１にて、画像データＡ（ｘ，ｙ）の値がそのまま画像データＢ（ｘ，ｙ）に代入される。
【０２０２】
次にステップ２２にて、注目画素が右に一つ移動される。次いでステップ２３にて、すべての水平画素について処理が完了するまでステップ１３〜ステップ２２の処理が繰り返される。
【０２０３】
以上の処理で、入力画像のすべての画素について、暫定的な出力画像が計算される。
【０２０４】
次に、図１３を用いて図１２で得られた結果を補正する、水平ライン補正処理（ステップ５）の処理について説明する。水平ライン処理と水平ライン補正処理はほぼ同じ処理であるが以下の点で異なる。
【０２０５】
一つめは、ステップ１３では注目画素の参照が画像データＡ（ｘ，ｙ）であったのに対して、ステップ３３では画像データＢ（ｘ，ｙ）になっていることである。２つめは、ステップ１４とステップ１５に対応するステップ３４とステップ３６の間に、変数ＣＯＵＮＴを加算するステップ３５が挿入されている点である。
【０２０６】
なお、ステップ３７のフィルタ処理は、入力画像のデータを用いて計算されるため、水平ライン処理と同じ処理となる。
【０２０７】
水平ライン補正処理では、出力画像として一度計算した値を用いて閾値計算が行われる。これにより、補正結果として閾値を超えてしまった部分に対して再計算が行われる。
【０２０８】
ここで、この処理は変数ＣＯＵＮＴが値「０」になる、つまり、フィルタの再計算処理が行われなくなるまで実行されるため、繰り返して行われることで、出力結果は隣接サブピクセル間の差分値が、必ず閾値未満である画像となる。
【０２０９】
ここで、この閾値は、基本的に視覚的に色が見えない隣接サブピクセルの差分値の最大値を利用する。この閾値は、デバイス特性、個人差などによりばらつきがあるので、複数人数を対象とした主観評価により決定した値を利用することが望ましい。
【０２１０】
出力画像の隣接サブピクセル間の差分値が、上記のように決定された閾値以下であれば、出力画像の色にじみは目立たない程度に抑制される。しかも、各サブピクセルの色にじみ抑制処理に利用したフィルタのタップ係数は、色にじみ抑制フィルタの中でもっとも平坦化度合いの小さいものとなる。このため、従来の技術のように、画像全体に一様に平坦化度合いの高い色にじみ抑制フィルタを施す場合に比較して、画像のぼやけ感などが減少し、先鋭感、精細感の向上が維持されたままである。あるいは、画像全体に対して平坦度合いの低い色にじみ抑制フィルタを施す場合に比較して、色にじみの抑制を向上させることができる。
【０２１１】
以上のように本発明の実施の形態２によれば、色にじみを抑制しつつ、ぼやけ感の少ない、先鋭感と精細感の高い出力画像を得ることができる。
【０２１２】
なお、入力画像データとタップ係数、閾値によっては変数ＣＯＵＮＴが値「０」にならない場合が考えられる。この場合は、処理が無限ループになってしまうので、これに対応するために水平ライン補正処理を一定回数試行した後に処理を打ち切ることも好適である。
【０２１３】
また、このような繰返し条件を変更して収束させるという手法として、偏微分方程式の解法やＬＳＩの配置配線などに利用されている、焼きなまし法（シミュレーテッドアニーリング）などの技法を利用しても、同等の効果を期待できる。
【産業上の利用可能性】
【０２１４】
本発明の画像処理装置は、例えばサブピクセル精度の画像を処理する画像処理などにおいて必要とされる、他の用途においても好適に利用できる。
【図面の簡単な説明】
【０２１５】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】本発明の実施の形態１における画像補間の処理の説明図
【図３】（ａ）縦軸がレベルで横軸が画素の水平位置であるローパスフィルタ出力後のデータグラフ  （ｂ）縦軸がレベルで横軸が画素の水平位置であるエッジ強調後のデータグラフ
【図４】本発明の実施の形態１における色にじみ判定部と色にじみ抑制部のブロック図
【図５】本発明の実施の形態１における色にじみ判定部と色にじみ抑制部のブロック図
【図６】本発明の実施の形態１における色にじみ判定部と色にじみ抑制部のブロック図
【図７】本発明の実施の形態１における色にじみ抑制フィルタの処理図
【図８】本発明の実施の形態１における色にじみ抑制フィルタの処理図
【図９】本発明の実施の形態１における色にじみ抑制フィルタの処理図
【図１０】本発明の実施の形態１における画像処理の説明図
【図１１】本発明の実施の形態２における処理フローチャート
【図１２】本発明の実施の形態２における処理フローチャート
【図１３】本発明の実施の形態２における処理フローチャート
【図１４】本発明の実施の形態２における画像処理装置のブロック図
【図１５】従来の画像処理装置のブロック図
【図１６】従来の画像処理装置のブロック図
【符号の説明】
【０２１６】
１  画像処理装置
２  入力画像
３  補間部
４  ローパスフィルタ
５  ＲＧＢ−ＹＣｂＣｒ変換部
６  エッジ強調部
７  色にじみ判定部
８  色にじみ抑制部
９  ＹＹＹＣｂＣｒ−ＲＧＢ変換部
１０  サブサンプリング部
１１  出力画像
１２  表示制御部
１３  表示デバイス
１４  切り替え部
３０  遅延素子
３１  差分値算出部
３２  最大値抽出部
３３  任意の閾値
３４  閾値比較部
３５  制御部
３６、５０  色にじみ抑制フィルタ
３９  レンジ判定部
４１  セレクタ
５１  タップ係数記憶部
【図１】
2006154414.tif 000003
【図２】
2006154414.tif 000004
【図３】
2006154414.tif 000005
【図４】
2006154414.tif 000006
【図５】
2006154414.tif 000007
【図６】
2006154414.tif 000008
【図７】
2006154414.tif 000009
【図８】
2006154414.tif 000010
【図９】
2006154414.tif 000011
【図１０】
2006154414.tif 000012
【図１１】
2006154414.tif 000013
【図１２】
2006154414.tif 000014
【図１３】
2006154414.tif 000015
【図１４】
2006154414.tif 000016
【図１５】
2006154414.tif 000017
【図１６】
2006154414.tif 000018