(57)【要約】  二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる画像処理システムを提供する。基底フィルタ演算手段８４は、処理対象画像から切り出された局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する。重み算出手段８５は、その複数種類の基底フィルタに対する重みを、主成分分析手段８２に計算された特徴量に基づいて計算する。フィルタリング結果重み演算手段８６は、各基底フィルタによるフィルタリング結果と、各基底フィルタに対する重みとに基づいて、その中心画素の画素値を更新する。
2012098854.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、
前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析手段と、
前記局所領域の中心画素における輝度勾配および主成分分析手段に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、
前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算手段と、
前記複数種類の基底フィルタに対する重みを、主成分分析手段に計算された前記特徴量に基づいて計算する重み算出手段と、
前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算手段とを備える
ことを特徴とする画像処理システム。
【請求項２】
主成分分析手段は、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、
対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段を備え、
基底フィルタ演算手段は、対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によって前記条件が満たされていると判定された局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する
請求項１に記載の画像処理システム。
【請求項３】
処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、
前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析手段と、
前記局所領域の中心画素における輝度勾配および主成分分析手段に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、
前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出手段と、
中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算手段とを備える
ことを特徴とする画像処理システム。
【請求項４】
対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段を備え、
フィルタ係数算出手段は、対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によって前記条件が満たされていると判定された局所領域に適用するフィルタの係数として、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、
フィルタ演算手段は、前記局所領域に対して前記ぼかしフィルタを適用することによって、修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する
請求項３に記載の画像処理システム。
【請求項５】
処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、
前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算し、
前記局所領域の中心画素における輝度勾配および前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、
前記局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用し、
前記複数種類の基底フィルタに対する重みを前記特徴量に基づいて計算し、
前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する
ことを特徴とする画像処理方法。
【請求項６】
処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、
前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、
前記局所領域の中心画素における輝度勾配および前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、
前記局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、
中心画素がジャギーの除去対象となる画素であると判定した局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する
ことを特徴とする画像処理方法。
【請求項７】
コンピュータに、
処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、
前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析処理、
前記局所領域の中心画素における輝度勾配および主成分分析処理で計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、
前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算処理、
前記複数種類の基底フィルタに対する重みを、主成分分析処理で計算された前記特徴量に基づいて計算する重み算出処理、および、
前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算処理
を実行させるための画像処理用プログラム。
【請求項８】
コンピュータに、
処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、
前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析処理、
前記局所領域の中心画素における輝度勾配および主成分分析処理で計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、
前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出処理、および、
中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算処理
を実行させるための画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に、画像内のジャギーを除去することができる画像処理システム、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【０００２】
画像をアップスケールする場合や、インタレース映像をプログレッシブ化する場合に、画像内のエッジ部分に、ジャギーと呼ばれる階段状のパターンが生じてしまう。このジャギーを除去する画像処理方法等が種々提案されている（例えば、特許文献１，２等参照）。【０００３】
特許文献１，２に記載された画像処理方法では、入力画像の各画素を順次、注目画素として選択する。そして、その注目画素を中心とする領域（ウィンドウ）を抽出し、予め用意したジャギーパターンと比較（換言すれば、パターンマッチング）することによって、その画素がジャギー画素であるか否かを判定する。その画素がジャギー画素である場合には、予め用意したジャギー修正用パターンを読み出し、入力画像のジャギーに該当する箇所に付加することによって、ジャギーを除去する。【０００４】
また、フィルタを定義してジャギーを防止する画像処理装置が特許文献３に記載されている。特許文献３に記載された画像処理装置は、注目画素を中心とした所定範囲について輝度勾配を検出する。そして、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１と、そのエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。また、そのエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。そして、特許文献３に記載された画像処理装置は、λ２／λ１によりエッジの信頼度を検出し、信頼度に応じたパラメータｐを生成する。さらに、固有値λ１が大きい場合というのは、エッジを挟んでコントラストが大きく、はっきりしたエッジであると言えるということに基づいて、エッジの立ち上がりに応じて値が変化するパラメータｑを生成する。さらに、特許文献３に記載された画像処理装置は、ｐ，ｑに基づいてフィルタリングの処理の範囲を計算し、その範囲によりフィルタリング処理のタップ数を切り替え、フィルタを定義する。【０００５】
すなわち、特許文献３に記載された画像処理装置では、画像内の各注目画素に関する所定範囲に対して、それぞれジャギーを防止するためのフィルタを定義する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２７０９１５号公報（段落００３４−００４０）
【特許文献２】特開２００９−１０８８０号公報（段落００５４−００５７、図１０）
【特許文献３】特開２００６−２２１４０３号公報（段落００２４−００２６、００４６−００５３）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ジャギーを除去する画像処理方法として特許文献１，２に記載された方法では、パターンマッチングに用いるジャギーパターンや、ジャギーに該当する箇所を修正するためのジャギー修正用パターンを予め用意しておく必要がある。そのため、ジャギーを除去できる画像は、ジャギーパターンやジャギー修正用パターンを予め用意しておくことができる画像に限定されてしまい、ジャギーパターンやジャギー修正用パターンを網羅的に用意できない画像には特許文献１，２に記載された画像処理方法を適用することができなかった。【０００８】
例えば、二値画像のジャギーパターンは限定的であり、それらのジャギーパターンや、それらのジャギーパターンに対応するジャギー修正用パターンを用意しておくことができる。従って、二値画像内のジャギーを特許文献１，２に記載された方法で除去することができる。一方、グレースケール画像やカラー画像に関しては、ジャギーパターンは様々であり、それらのジャギーパターンや、それらのジャギーパターンに対応するジャギー修正用パターンを網羅的に予め用意することは困難である。従って、グレースケール画像やカラー画像に関しては、画像内のジャギーを特許文献１，２に記載された方法で除去することは困難である。【０００９】
また、例えば、既知のスケーラでアップスケールされた画像では、ジャギーパターンは限定的であり、それらのジャギーパターンや、それらのジャギーパターンに対応するジャギー修正用パターンを用意しておくことができる。従って、既知のスケーラでアップスケールされた画像に関しては、特許文献１，２に記載された方法で画像内のジャギーを除去することができる。しかし、ジャギーを除去できるのは、そのような既知のスケーラで処理された画像に限定されてしまう。アップスケールしたときにどのようなジャギーが生じるかはスケーラに依存する。そのため、全てのスケーラに関して、ジャギーパターンや、そのジャギーパターンに対応するジャギー修正用パターンを網羅的に予め用意することは困難であり、任意のスケーラでアップスケールされた画像に関して、全てジャギーを除去できるわけではなかった。【００１０】
一方、特許文献３に記載された画像処理装置では、ジャギーパターンやジャギー修正用パターンを予め用意しておく必要がないので、処理できる画像が限定されてしまうという上記の問題は生じない。【００１１】
しかし、特許文献３に記載された画像処理装置では、処理対象とする画像内の各注目画素に関する所定範囲に対して、それぞれフィルタを定義する処理を行うため、処理時間がかかってしまう。【００１２】
そこで、本発明は、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。また、それらの画像に対して、高速にジャギーを除去することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による画像処理システムは、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析手段と、局所領域の中心画素における輝度勾配および主成分分析手段に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算手段と、複数種類の基底フィルタに対する重みを、主成分分析手段に計算された特徴量に基づいて計算する重み算出手段と、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算手段とを備えることを特徴とする。【００１４】
また、本発明による画像処理システムは、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析手段と、局所領域の中心画素における輝度勾配および主成分分析手段に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出手段と、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対してそのぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算手段とを備えることを特徴とする。【００１５】
また、本発明による画像処理方法は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算し、局所領域の中心画素における輝度勾配および特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用し、複数種類の基底フィルタに対する重みを特徴量に基づいて計算し、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定することを特徴とする。【００１６】
また、本発明による画像処理方法は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、局所領域の中心画素における輝度勾配および特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、中心画素がジャギーの除去対象となる画素であると判定した局所領域に対してそのぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定することを特徴とする。【００１７】
また、本発明による画像処理用プログラムは、コンピュータに、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析処理、局所領域の中心画素における輝度勾配および主成分分析処理で計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算処理、複数種類の基底フィルタに対する重みを、主成分分析処理で計算された特徴量に基づいて計算する重み算出処理、および、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算処理を実行させることを特徴とする。【００１８】
また、本発明による画像処理用プログラムは、コンピュータに、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析処理、局所領域の中心画素における輝度勾配および主成分分析処理で計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出処理、および、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対してそのぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算処理を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる。【００２０】
また、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する構成の場合には、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、高速にジャギーを除去することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態の画像処理システムを示すブロック図である。
【図２】局所領域切り出し手段３０を備える構成例を示すブロック図である。
【図３】基底フィルタ演算手段２１が保持する３種類の基底フィルタを模式的に示した図である。
【図４】基底フィルタの線形和で近似されるフィルタの例を模式的に表す説明図である。
【図５】入力画像および入力画像内の領域の例を示す図である。
【図６】ジャギーの除去を示す図である。
【図７】第１の実施形態の画像処理システムの処理経過の例を示すフローチャートである。
【図８】図５に示す領域２０１，２０２を局所領域として主成分分析を行って得た特徴量を示す図である。
【図９】本発明の第２の実施形態の画像処理システムを示すブロック図である。
【図１０】ジャギーが生じている局所領域と、その局所領域における固有ベクトルｖ２およびその逆ベクトルとを示す模式図である。
【図１１】注目画素から固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群における画素値の変化を示す模式図である。
【図１２】固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングして周波数空間に変換した場合における周波数と強度の関係を示す模式図である。
【図１３】第２の実施形態の画像処理システムの処理経過の例を示すフローチャートである。
【図１４】本発明の第３の実施形態の画像処理システムを示すブロック図である。
【図１５】第３の実施形態の画像処理システムの処理経過の例を示すフローチャートである。
【図１６】ガウシアンフィルタを模式的に示した図である。
【図１７】本発明の最小構成の例を示すブロック図である。
【図１８】本発明の最小構成の他の例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態を図面を参照して説明する。
【００２３】
実施形態１．
図１は、本発明の第１の実施形態の画像処理システムを示すブロック図である。本発明の画像処理システム１は、例えば、プログラム制御により動作するコンピュータ（中央処理装置、プロセッサまたはデータ処理装置）により実現される。
【００２４】
第１の実施形態の画像処理システムは、処理対象の画像におけるジャギーを除去するように修正した修正画像を、例えば、画像処理システムが備えるメモリ（図示略）上に作成する。例えば、画像処理システムには、処理対象の画像が入力され、画像処理システムは、その処理対象の画像を複製したものを修正画像の初期状態としてメモリに記憶させておく。そして、画像処理システムは、処理対象の画像内のジャギーの除去対象となる画素に対応する修正画像内の画素の画素値を定めていく。この結果、ジャギーが除去された修正画像が得られる。
【００２５】
画像処理システム１は、ジャギー除去対象画素検出手段１０と、ジャギー除去手段２０とを備える。
【００２６】
ジャギー除去対象画素検出手段１０は、処理対象の画像における個々の画素を中心とした局所領域に対して、局所領域内の輝度勾配の主成分分析を行い、特徴量として固有値および固有ベクトルを算出する。そして、ジャギー除去対象画素検出手段１０は、局所領域の中心に位置する画素（以下、注目画素と記す。）が、ジャギーの除去対象となる画素であるか否かを、算出した特徴量によって統計的に判定する。以下、ジャギーの除去対象となる画素をジャギー除去対象画素と記す。
【００２７】
ジャギーは、同じ方向のエッジが連続的に繋がっている箇所で顕著である。この性質を利用して、ジャギー除去対象画素検出手段１０は、一定以上の輝度勾配強度があり、かつ、近傍で一様な輝度勾配が存在する画素をジャギー除去対象画素と判定する。
【００２８】
ジャギー除去手段２０は、ジャギー除去対象画素であると判定された画素を中心とする局所領域に対して、予め定められた複数のフィルタを適用する。この複数のフィルタを基底フィルタと記す。基底フィルタについては後述する。また、ジャギー除去手段２０は、局所領域に対して個々の基底フィルタを適用した結果の重み付き平均を計算し、その計算結果を、ジャギー除去対象画素であると判定された画素に対応する修正画像内の画素の画素値として決定する。そして、修正画像内におけるその画素の画素値を、その計算結果の値で更新する。また、ジャギー除去手段２０は、重み付き平均を行う際の重み係数を、ジャギー除去対象画素検出手段１０によって計算された固有ベクトルを用いて計算する。
【００２９】
ジャギー除去対象画素検出手段１０およびジャギー除去手段２０について、より具体的に説明する。
【００３０】
ジャギー除去対象画素検出手段１０は、輝度勾配算出手段１１と、主成分分析手段１２と、対象画素判定手段１３とを含む。
【００３１】
画像処理システム１に入力画像（処理対象画像）が入力されると、入力画像の個々の画素を中心とする局所領域が切り出され、各画素に対応する局所領域が輝度勾配算出手段１１および基底フィルタ演算手段２１に入力される。この場合、例えば、図２に示すように、入力画像の個々の画素を中心とする局所領域を画素毎に切り出し、各画素に対応する局所領域を輝度勾配算出手段１１および基底フィルタ演算手段２１に入力する局所領域切り出し手段３０が設けられていればよい。また、処理対象画像から画素毎に局所領域を抽出する処理が外部で行われ、輝度勾配算出手段１１および基底フィルタ演算手段２１に、画像の各局所領域が外部から直接入力されてもよい。なお、既に説明したように、画像処理システム１は、例えば、入力画像（処理対象画像）の複製を、修正画像の初期状態として、メモリに記憶させておく。
【００３２】
なお、局所領域は、例えば、ｋを奇数としたときに、ｋ×ｋ個の画素からなる正方形の領域であり、中心に存在する注目画素を特定することができる。ここでは、局所領域が正方形である場合を例示したが、局所領域は正方形に限定されない。例えば、局所領域は長方形であってもよい。
【００３３】
個々の画素毎に局所領域が切り出されると、ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）と、ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）は、局所領域毎にそれぞれ処理を行う。
【００３４】
輝度勾配算出手段１１は、入力された局所領域内の各画素の輝度勾配を算出する。
【００３５】
主成分分析手段１２は、輝度勾配算出手段１１によって算出された局所領域内の各画素の輝度勾配に対して主成分分析を行い、局所領域内の輝度勾配の分布を表す特徴量を計算する。具体的には、主成分分析手段１２は、局所領域内の各画素の輝度勾配に対して主成分分析を行い、２つの固有値λ１，λ２と、固有値λ１に対応する固有ベクトルｖ１、および固有値λ２に対応する固有ベクトルｖ２とを計算する。ただし、λ１＞λ２であるとする。ここで、固有ベクトルｖ１は、局所領域内で支配的な輝度勾配方向を表し、固有ベクトルｖ２は、固有ベクトルｖ１に垂直である。また、λ１，λ２は、固有ベクトルｖ１，ｖ２が表す各勾配方向における勾配の分散を表しているということができる。
【００３６】
対象画素判定手段１３は、局所領域の中心の注目画素の輝度勾配が十分に大きいこと、および、λ１がλ２に対して十分に大きいことを基準として、局所領域の中心の注目画素がジャギー除去対象画素であるか否かを判定する。すなわち、対象画素判定手段１３は、注目画素の輝度勾配が十分に大きく、かつ、λ１がλ２に対して十分に大きいという条件が満たされている場合、その注目画素がジャギー除去対象画素であると判定する。また、その条件が満たされていない場合、その注目画素はジャギー除去対象画素でないと判定する。なお、輝度勾配が十分に大きいか否かや、λ１がλ２に対して十分に大きいか否かについては、それぞれ閾値を用いて判定する。
【００３７】
ジャギー除去手段２０は、基底フィルタ演算手段２１と、フィルタ重み計算手段２２と、重み付き平均計算手段２３とを含む。
【００３８】
基底フィルタ演算手段２１は、特定方向に関してぼけが大きくなり、その特定方向に垂直な方向に関してぼけが小さくなるようにぼかし係数を定めた基底フィルタを予め複数個保持する。本実施形態では、基底フィルタ演算手段２１が３種類の基底フィルタを保持している場合を例にして説明する。また、この３種類の基底フィルタにおける上記の特定方向が、０°、６０°、１２０°である場合を例にする。また、この特定方向は、水平の右側方向を基準として、反時計回りの回転角度で表している。本例では、特定方向を表すための基準となる方向（以下、基準方向と記す。）として、水平の右側方向を採用しているが、基準方向として他の方向を定めていてもよい。
【００３９】
図３は、本実施形態において基底フィルタ演算手段２１が保持する３種類の基底フィルタを模式的に示した図である。フィルタは、局所領域内の画素数以下の係数を並べて配置したものである。フィルタにおいて中心位置に配置された係数と、局所領域の中心画素とを対応させることで、フィルタの各係数に一対一に対応する局所領域内の各画素が特定されるようにフィルタ内の係数の配置は定められている。フィルタに含まれる係数の数は、局所領域内の画素数以下であり、フィルタに含まれる各係数に一対一に対応する局所領域内の画素が特定できればよい。フィルタに含まれる係数の数と、局所領域内の画素数とが等しく、各係数と各画素とが一対一に対応していてもよい。図３では、５×５個の係数を配置した基底フィルタを例示している。ただし、明るい色ほど、フィルタ係数の値が大きいことを意味している。
【００４０】
図３に示す第１の基底フィルタＧ１における特定方向θ１は０°である。すなわち、本例の基底フィルタＧ１は、０°方向に関してぼけが大きくなり、その方向に垂直な方向に関してぼけが小さくなるように係数を定めたフィルタである。
【００４１】
第２の基底フィルタＧ２における特定方向θ２は６０°である。すなわち、本例の基底フィルタＧ２は、６０°方向に関してぼけが大きくなり、その方向に垂直な方向に関してぼけが小さくなるように係数を定めたフィルタである。
【００４２】
第３の基底フィルタＧ３における特定方向θ３は１２０°である。すなわち、本例の基底フィルタＧ３は、１２０°方向に関してぼけが大きくなり、その方向に垂直な方向に関してぼけが小さくなるように係数を定めたフィルタである。
【００４３】
基底フィルタＧ２における特定方向θ２は、基底フィルタＧ１における特定方向θ１を反時計回りに６０°回転させたものである。同様に、基底フィルタＧ３における特定方向θ３は、基底フィルタＧ１における特定方向θ１を反時計回りに１２０°回転させたものである。
【００４４】
任意の方向性を持ったフィルタは、図３に例示する基底フィルタＧ１〜Ｇ３のように、形状（係数の配置）が共通であるが、方向性が異なる複数の基底フィルタの線形和によって近似することができる。図４は、基底フィルタの線形和で近似されるフィルタの例を模式的に表す説明図である。図４では、特定方向が３０°となるフィルタＧｎを、基底フィルタＧ１〜Ｇ３で近似する場合を例示している。また、この線形和の計算において、基底フィルタＧ１〜Ｇ３に対する重み係数をそれぞれｗ１，ｗ２，ｗ３としている。この場合、フィルタＧｎは、以下の式（１）で近似できる。
【００４５】
Ｇｎ＝ｗ１・Ｇ１＋ｗ２・Ｇ２＋ｗ３・Ｇ３        ・・・式（１）
【００４６】
基底フィルタ演算手段２１は、局所領域が入力されると、その局所領域に対して、各基底フィルタをそれぞれ個別に適用する。本例では、基底フィルタ演算手段２１は、局所領域に対して基底フィルタＧ１〜Ｇ３をそれぞれ個別に適用する。
【００４７】
前述のように、フィルタに含まれる係数の数は、局所領域内の画素数以下であり、フィルタに含まれる各係数に一対一に対応する局所領域内の画素が特定できればよい。換言すれば、フィルタの大きさは、局所領域の大きさ以下であればよい。局所領域に対してフィルタを適用するとは、具体的には、フィルタに含まれる係数に、その係数に対応する局所領域内の画素の画素値を乗じる処理を、フィルタに含まれる係数毎に行い、その乗算結果の和を算出することである。局所領域に対して基底フィルタを適用した結果（フィルタリング結果と呼ぶ。）とは、この計算結果である。
【００４８】
フィルタ重み計算手段２２は、主成分分析手段１２によって計算された固有ベクトルｖ２を用いて、各基底フィルタＧ１〜Ｇ３に対する重み係数ｗ１〜ｗ３を計算する。固有ベクトルｖ２の方向をθとする。より具体的には、θは、基準方向から反時計回りで固有ベクトルｖ２までの回転角である。既に説明したように、本例では、基準方向として、水平の右側方向を採用しているが、基準方向として他の方向を定めていてもよい。
【００４９】
各基底フィルタに対する重み係数ｗ１〜ｗ３をベクトルｗ＝（ｗ１，ｗ２，ｗ３）で表すと、フィルタ重み計算手段２２は、固有ベクトルｖ２の方向θと、基底フィルタＧ１における特定方向θ１、基底フィルタＧ２における特定方向θ２、基底フィルタＧ３における特定方向θ３とを用いて、以下の式（２）を計算することにより各重み係数ｗ１〜ｗ３を求める。
【００５０】
【数１】
2012098854.tif 000003
【００５１】
すなわち、フィルタ重み計算手段２２は、式（２）を計算して得たベクトルｗの３つの要素を順番に重み係数ｗ１，ｗ２，ｗ３とすればよい。
【００５２】
重み付き平均計算手段２３は、基底フィルタ演算手段２１による３種類のフィルタリング結果に対して、フィルタ重み計算手段２２によって計算された重み係数ｗ１〜ｗ３で重み付けを行い、その和を計算する。すなわち、局所領域に対して基底フィルタＧ１を適用した結果に対してｗ１を乗じ、局所領域に対して基底フィルタＧ２を適用した結果に対してｗ２を乗じ、局所領域に対して基底フィルタＧ３を適用した結果に対してｗ３を乗じ、それらの乗算結果の和を計算する。重み付き平均計算手段２３は、その計算結果を、その局所領域の中心の注目画素に対応する修正画像内の画素の画素値として決定する。そして、重み付き平均計算手段２３は、修正画像内におけるその画素の画素値を、その計算結果の値で更新する。
【００５３】
ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）と、ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）は、例えば、画像処理用プログラムに従って動作するコンピュータにより実現される。この場合、コンピュータが画像処理用プログラムを読み込み、そのプログラムに従って、ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）およびジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）として動作すればよい。
【００５４】
また、ジャギー除去対象画素検出手段１０とジャギー除去手段２０が別々のユニットで実現されていてもよい。さらに、輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３が別々のユニットで実現されていてもよく、また、基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３も別々のユニットで実現されていてもよい。
【００５５】
次に、ジャギーに関する仮定について説明した上で、本発明の動作について説明する。まず、ジャギーに関する仮定について説明する。図５は、入力画像および入力画像内の領域の例を示す図である。図５において、領域２０１，２０２はいずれも入力画像２００内の領域を拡大して図示したものである。領域２０１，２０２内に図示した複数の矢印は、それぞれ、領域２０１，２０２の各画素における輝度勾配の方向および強度を表している。一般に、ジャギーは、アップスケールされた画像等においてエッジ付近で発生する。また、人間の視覚は、領域２０１のように、同じ方向のエッジが連続して繋がっている箇所においてはジャギーの存在に敏感であり、一方、領域２０２のように、異なる方向のエッジが混在している箇所においては、ジャギーを知覚しにくいという特性を持つ。そこで、本発明では、ジャギーを形成する画素は、一定の輝度勾配強度を持ち、その近傍領域内における輝度勾配が一様になっているという仮定を採用する。そして、本発明の画像処理システムは、そのような画素をジャギー除去対象画素と判定し、ジャギー除去対象画素に対応する修正画像内の画素の画素値を更新することで、ジャギーを除去した画像を生成していく。例えば、領域２０１の中心の注目画素を、ジャギー除去対象画素と判定し、そのジャギー除去対象画素に対応する修正画像内の画素の画素値を更新する。処理対象画像の画素毎にこのような判定を行い、ジャギー除去対象画素を検出したならば、そのジャギー除去対象画素に対応する修正画像内の画素の画素値を更新していくことで、ジャギーをぼかしていくことになる。この結果、図６に示すように、領域２０１に対応する修正画像内の領域２０３では、ジャギーが除去される。
【００５６】
図７は、第１の実施形態の画像処理システムの処理経過の例を示すフローチャートである。はじめに、入力画像の各画素を中心とした局所領域がそれぞれ切り出され、各局所領域がそれぞれ、輝度勾配推定手段１１および基底フィルタ演算手段２１に入力される。そして、ジャギー除去対象画素検出手段１０およびジャギー除去手段２０は、以下に示す処理を局所領域毎に行う。以下の説明では、１つの局所領域に対する処理を説明する。なお、本例では、初期状態の修正画像が、画像処理システムのメモリに記憶されている場合を例にして説明する。
【００５７】
なお、局所領域は、予め定められた基底フィルタに含まれる係数の個数以上の画素数を含む領域として切り出される。
【００５８】
輝度勾配算出手段１１は、局所領域内の各画素の輝度勾配を算出する（ステップＳ１）。具体的には、輝度勾配算出手段１１は、水平方向の輝度勾配成分と、垂直方向の輝度勾配成分とをそれぞれ算出する。以下、任意の画素の座標を（ｘ，ｙ）としたときに、その画素における水平方向の輝度勾配成分をＩｘ（ｘ，ｙ）と表し、その画素における垂直方向の輝度勾配成分をＩｙ（ｘ，ｙ）と表す。従って、輝度勾配算出手段１１は、局所領域内の画素毎にＩｘ（ｘ，ｙ）およびＩｙ（ｘ，ｙ）を計算する。
【００５９】
輝度勾配算出手段１１は、局所領域内の各画素に関してＩｘ（ｘ，ｙ）を計算する場合には、局所領域内の各画素に対して、それぞれ以下に例示するフィルタを適用し、その適用結果をＩｘ（ｘ，ｙ）とすればよい。
【００６０】
【数２】
2012098854.tif 000004
【００６１】
輝度勾配算出手段１１は、局所領域内の各画素に関してＩｙ（ｘ，ｙ）を計算する場合には、局所領域内の各画素に対して、それぞれ以下に例示するフィルタを適用し、その適用結果をＩｙ（ｘ，ｙ）とすればよい。
【００６２】
【数３】
2012098854.tif 000005
【００６３】
なお、ここで示したフィルタは例示であり、Ｉｘ（ｘ，ｙ）やＩｙ（ｘ，ｙ）を計算する際に、他のフィルタを用いてもよい。
【００６４】
次に、主成分分析手段１２は、ステップＳ１で計算された局所領域内の各画素の輝度勾配に対して主成分分析を行い、局所領域内の輝度勾配に関する特徴量を算出する（ステップＳ２）。具体的には、局所領域内の輝度勾配に関する２つの固有値λ１，λ２（ただし、λ１＞λ２）と、固有値λ１に対応する固有ベクトルｖ１、および固有値λ２に対応する固有ベクトルｖ２とを計算する。
【００６５】
主成分分析手段１２は、ステップＳ２において固有値λ１，λ２を計算する場合、以下の式（３）に示す行列Ａの固有値を算出し、その固有値をλ１，λ２とすればよい。ただし、λ１＞λ２とする。
【００６６】
【数４】
2012098854.tif 000006
【００６７】
式（３）において、Ｒは、座標（ｘ，ｙ）を中心とする局所領域を表す。
【００６８】
また、式（３）において、
【数５】
2012098854.tif 000007
は、座標（ｘ，ｙ）を中心とする局所領域内Ｒ内の座標を表す。
【００６９】
また、式（３）において、
【数６】
2012098854.tif 000008
は、座標（ｘ，ｙ）を中心とする局所領域内Ｒ内の座標における水平方向の輝度勾配成分である。また、
【数７】
2012098854.tif 000009
は、座標（ｘ，ｙ）を中心とする局所領域内Ｒ内の座標における垂直方向の輝度勾配成分である。
【００７０】
図８は、図５に示した領域２０１，２０２を局所領域としてステップ２の主成分分析を行って得た特徴量を示す図である。図８（ａ）は、同じ方向のエッジが連続して繋がっている領域２０１内の輝度勾配に関して主成分分析を行って得た固有値λ１，λ２および、それらの固有値に対応する固有ベクトルｖ１，ｖ２を示している。また、図８（ｂ）は、異なる方向のエッジが混在している領域２０２内の輝度勾配に関して主成分分析を行って得た固有値λ１，λ２および、それらの固有値に対応する固有ベクトルｖ１，ｖ２を示している。図８において、領域２０１，２０２内に示した白色の矢印が固有ベクトルｖ１，ｖ２を表している。
【００７１】
ステップＳ２の後、対象画素判定手段１３は、ステップＳ２で算出された特徴量λ１，λ２およびｖ１，ｖ２を用いて、局所領域の中心に位置する注目画素がジャギー除去対象画素であるか否かを判定する（ステップＳ３）。ここで、領域２０１（図５参照）のように、局所領域内の輝度勾配が一様である場合、λ１が大きな値となるのに対してλ２は小さな値となる（図８（ａ）参照）。一方、領域２０２（図５参照）のように、局所領域内で輝度勾配にばらつきがある場合、λ１，λ２はともに大きな値となる（図８（ｂ）参照）。そこで、対象画素判定手段１３は、局所領域の中心の注目画素の輝度勾配が十分に大きいことと合わせて、λ１がλ２に対して十分に大きいことも基準として、局所領域の中心の注目画素がジャギー除去対象画素であるか否かを判定する。
【００７２】
具体的には、対象画素判定手段１３は、局所領域の中心の注目画素の座標を（ｘ，ｙ）としたときに、以下に示す式（４）および式（５）が両方とも成立していれば、その注目画素がジャギー除去対象画素であると判定し、式（４）および式（５）のうち少なくともいずれか一方が成立していなければ、その注目画素はジャギー除去対象画素ではないと判定する。
【００７３】
｛Ｉｘ（ｘ，ｙ）｝２＋｛Ｉｙ（ｘ，ｙ）｝２＞ｔ１          ・・・式（４）
【００７４】
λ１／λ２＞ｔ２          ・・・式（５）
【００７５】
式（４）におけるｔ１、および式（５）におけるｔ２は、いずれも予め定められた閾値である。式（４）が成立しているということは、注目画素の輝度勾配が十分に大きいことを意味する。また、式（５）が成立しているということは、λ１がλ２に対して十分に大きいことを意味する。
【００７６】
ステップＳ３において、注目画素がジャギー除去対象画素ではないと判定された場合、画像処理システム１は、現在処理対象としている局所領域に関する処理を終了し、次の局所領域に関する処理を開始する。一方、注目画素がジャギー除去対象画素であると判定された場合、ジャギー除去手段２０は、現在処理対象としている局所領域について、ステップＳ４以降の処理も行う。
【００７７】
基底フィルタ演算手段２１は、入力された局所領域に対して、予め定められた複数の基底フィルタをそれぞれ個別に適用する（ステップＳ４）。ここでは、基底フィルタとしてＧ１，Ｇ２，Ｇ３（図３参照）が定められているとする。基底フィルタ演算手段２１は、基底フィルタＧ１の係数に、その係数に対応する局所領域内の画素の画素値を乗じる処理を、基底フィルタＧ１の係数毎に行い、その乗算結果の和を算出する。この結果、基底フィルタＧ１によるフィルタリング結果が得られる。基底フィルタ演算手段２１は、基底フィルタＧ２，Ｇ３に関しても同様の処理を行う。
【００７８】
また、フィルタ重み計算手段２２は、ステップＳ２で計算された固有ベクトルｖ２の方向θを求める。ｖ２の方向θは、基準方向（本例では、水平の右側方向）から反時計回りで固有ベクトルｖ２までの回転角として求めればよい。そして、フィルタ重み計算手段２２は、予め定められている各基底フィルタＧ１〜Ｇ３における特定方向θ１，θ２，θ３（図３参照）と、固有ベクトルｖ２の方向θを用いて、式（２）の計算を行い、各基底フィルタＧ１〜Ｇ３に対応する重み係数ｗ１〜ｗ３を算出する。
【００７９】
続いて、重み付き平均計算手段２３は、ステップＳ４で計算された各基底フィルタによるフィルタリング結果と、ステップＳ５で計算された重み係数とを用いて、注目画素の画素値を計算し、その計算結果を、その注目画素に対応する修正画像内の画素の画素値として決定する。そして、重み付き平均計算手段２３は、修正画像内におけるその画素の画素値を、その計算結果の値で更新する（ステップＳ６）。すなわち、重み付き平均計算手段２３は、基底フィルタＧ１によるフィルタリング結果にｗ１を乗じ、基底フィルタＧ２によるフィルタリング結果にｗ２を乗じ、基底フィルタＧ３によるフィルタリング結果にｗ３を乗じ、その乗算結果の和を計算する。そして、重み付き平均計算手段２３は、その局所領域の中心の注目画素に対応する修正画像内の画素の画素値を、その計算結果で更新する。
【００８０】
ステップＳ６が終了したならば、現在処理対象としている局所領域に関する処理を終了し、次の局所領域に関する処理を開始する。このように、各局所領域に対して、ステップＳ１以降の処理を行う。この結果、画像処理システム１は、各局所領域において、その中心の注目画素がジャギー除去対象画素であれば、その注目画素に対応する修正画像内の画素の画素値を更新して、ジャギーを除去した修正画像を得る。
【００８１】
第１の実施形態によれば、予め複数の基底フィルタを用意しておく。そして、局所領域の中心の注目画素がジャギー除去対象画素であれば、局所領域に対して各基底フィルタを適用した結果に対して重み付けを行って、注目画素に対応する修正画像内の画素の画素値を決定して、ジャギーを除去する。従って、局所領域毎に、ジャギーを除去するためのフィルタ（より具体的にはフィルタの係数）を算出する必要がないため、ジャギーを除去する処理を高速に行うことができる。
【００８２】
本実施形態と、特許文献３に記載された画像処理装置とを比較すると、特許文献３に記載された画像処理装置では、各注目画素に関する所定範囲毎にフィルタを定義する必要があり、そのため、特許文献３に記載された画像処理装置では処理時間がかかってしまう。一方、本実施形態では、上記のように、ジャギーを除去するためのフィルタを局所領域毎に算出する必要がなく、高速にジャギーを除去する処理を行える。
【００８３】
また、本実施形態では、ジャギーパターンやジャギー修正用パターンを予め用意しておく必要がないため、種々の画像に関してジャギー除去を実現することができる。例えば、二値画像に限らず、グレースケール画像やカラー画像におけるジャギーを除去することができる。また、未知のスケーラによってアップスケールされた画像内に生じたジャギーも除去することができる。
【００８４】
すなわち、本実施形態によれば、二値画像、グレースケール画像、カラー画像や、未知のスケーラでアップスケールされた画像等に関して、高速にジャギーを除去することができる。
【００８５】
実施形態２．
図９は、本発明の第２の実施形態の画像処理システムを示すブロック図である。第１の実施形態と同様の構成要素に関しては、図１と同一の符号を付し詳細な説明を省略する。
【００８６】
第２の実施形態の画像処理システム４０は、ジャギー除去対象画素検出手段１０ａと、ジャギー除去手段２１とを備える。
【００８７】
ジャギー除去対象画素検出手段１０ａは、第１の実施形態におけるジャギー除去対象画素検出手段１０（図１参照）と同様に、処理対象の画像における個々の画素を中心とする各局所領域に関して、局所領域の中心に位置する注目画素がジャギー除去対象画素であるか否かを判定する。ただし、ジャギー除去対象画素検出手段１０ａは、注目画素がジャギー除去対象画素であると判定した局所領域に関して、さらに、所定の条件を満たしているか否かを判断することによって、ジャギーの除去対象とする画素としてより適切な注目画素を絞り込む。すなわち、第２の実施形態のジャギー除去対象画素検出手段１０ａは、第１の実施形態と同様の方法でジャギー除去対象画素であると判定した注目画素に対して、さらに所定の条件を満たしているか否かを判定して、ジャギー除去対象画素を絞り込む。この条件に関しては、後述する。
【００８８】
ジャギー除去対象画素検出手段１０ａは、輝度勾配算出手段１１と、主成分分析手段１２と、対象画素判定手段１３と、対象画素詳細判定手段１４とを含む。輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３の動作は、第１の実施形態におけるそれらの動作と同様であり、説明を省略する。
【００８９】
対象画素詳細判定手段１４は、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域に関して、以下の処理を行う。対象画素詳細判定手段１４は、その局所領域内の画素であって、その局所領域の中心に位置する注目画素から、固有ベクトルｖ２の方向に並ぶ画素、および固有ベクトルｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングする（抽出する）。対象画素詳細判定手段１４は、例えば、ＦＦＴ（Fast Fourier Transform，高速フーリエ変換）をその各画素値に行うことによって、その画素値を周波数空間に変換する。対象画素詳細判定手段１４は、サンプリングした画素値を周波数空間に変換したときに、ある周波数で閾値以上の強度が得られているか否かを判定する。そして、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域のうち、ある周波数で閾値以上の強度が得られているという上記の条件を満たしている局所領域の注目画素をジャギー除去対象画素として確定する。一方、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域であっても、ある周波数で閾値以上の強度が得られているという上記の条件を満たしていない場合には、対象画素判定手段１３によってジャギー除去対象画素であると判定された注目画素を、ジャギー除去対象画素から外す。以上の処理によって、対象画素詳細判定手段１４は、対象画素判定手段１３によってジャギー除去対象画素であると判定された注目画素を絞り込む。
【００９０】
上記のような対象画素詳細判定手段１４の処理によって、より適切なジャギー除去対象画素を選択できる。この理由について説明する。図１０は、ジャギーが生じている局所領域と、その局所領域における固有ベクトルｖ２およびその逆ベクトルとを示す模式図である。固有ベクトルｖ２は、局所領域内で支配的な輝度勾配方向を表す固有ベクトルｖ１（図１０において図示略）に垂直である。従って、図１０に示すように、ジャギーが生じている局所領域において、注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群では、画素の並び順に画素値の高低が繰り返される。図１１は、注目画素から固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群における画素値の変化を示す模式図である。図１１に示す横軸は、注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の並び順を表している。そして、横軸の中心は注目画素に該当し、横軸の右向きの方向が固有ベクトルｖ２の方向への並びを表している。また、図１１に示す縦軸は画素値を表している。図１１に示すように、注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の並び順に、画素値は、高くなったり低くなったりすることを繰り返す。
【００９１】
このように注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングし、その画素値に対して例えばＦＦＴを行って、周波数空間に変換した場合における、周波数と強度の関係を図１２に示す。ジャギーが生じている局所領域から上記のようにサンプリングした画素の画素値は、図１１に示すように高低を繰り返す。従って、周波数空間では、図１２に示すように、ある周波数で強度が高くなる。従って、ある周波数で強度が高くなっているということは、局所領域の注目画素から固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群において、画素値が高くなったり低くなったりすることを繰り返すというジャギーの特徴が現れていると言うことができる。よって、ある周波数の強度が閾値以上であるという条件を満たしている場合、その局所領域の注目座標は、ジャギー除去対象画素としてより適切であるということができる。なお、上記の条件における「ある周波数」とは、任意の周波数であってもよい。あるいは、固有ベクトルｖ２の方向をθとしたときにおけるｔａｎθの整数倍であってもよい。すなわち、例えばＦＦＴによる変換後において、任意の周波数で強度が閾値以上であるという条件を満たしている場合、対象画素詳細判定手段１４は、その局所領域の注目座標がジャギー除去対象画素であると確定してもよい。また、ｔａｎθの整数倍の周波数において強度が閾値以上であるという条件を満たしている場合、対象画素詳細判定手段１４は、その局所領域の注目座標がジャギー除去対象画素であると確定してもよい。
【００９２】
ジャギー除去手段２０は、基底フィルタ演算手段２１と、フィルタ重み計算手段２２と、重み付き平均計算手段２３とを含む。ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）の構成や動作は、第１の実施形態におけるそれらの構成や動作と同様である。ただし、第２の実施形態では、ジャギー除去手段２０は、対象画素詳細判定手段１４によって注目座標がジャギー除去対象画素であると確定された局所領域を対象に処理を行う。対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域であっても、対象画素詳細判定手段１４によって注目座標がジャギー除去対象画素であると確定されなかった場合には、ジャギー除去手段２０の処理の対象外とする。
【００９３】
第２の実施形態において、ジャギー除去対象画素検出手段１０ａ（輝度勾配算出手段１１、主成分分析手段１２、対象画素判定手段１３および対象画素詳細判定手段１４）と、ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）は、例えば、画像処理用プログラムに従って動作するコンピュータにより実現される。この場合、コンピュータが、コンピュータが画像処理用プログラムを読み込み、そのプログラムに従って、ジャギー除去対象画素検出手段１０ａ（輝度勾配算出手段１１、主成分分析手段１２、対象画素判定手段１３および対象画素詳細判定手段１４）、およびジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）として動作すればよい。
【００９４】
また、ジャギー除去対象画素検出手段１０ａとジャギー除去手段２０が別々のユニットで実現されていてもよい。さらに、輝度勾配算出手段１１、主成分分析手段１２、対象画素判定手段１３および対象画素詳細判定手段１４が別々のユニットで実現されていてもよい。また、基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３も別々のユニットで実現されていてもよい。
【００９５】
図１３は、第２の実施形態の画像処理システムの処理経過の例を示すフローチャートである。第１の実施形態における処理と同様の処理に関しては、図７と同一の符号を付し、説明を省略する。ステップＳ１〜Ｓ３の処理は、第１の実施形態におけるステップＳ１〜Ｓ３の処理と同様である。
【００９６】
ステップＳ３の後、対象画素詳細判定手段１４は、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域に関して、その注目画素がジャギー除去対象画素として適切であるか否かをより詳細に判定する（ステップＳ２１）。すなわち、対象画素詳細判定手段１４は、ステップＳ３で注目画素がジャギー除去対象画素であると判定された局所領域に関して、その局所領域内の画素であって、その局所領域の中心に位置する注目画素から、固有ベクトルｖ２の方向に並ぶ画素、および固有ベクトルｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングする。なお、固有ベクトルｖ２は、ステップＳ２で算出済みである。対象画素詳細判定手段１４は、サンプリングした画素値に対して、例えば、ＦＦＴを行うことによって、それらの画素値を周波数空間に変換する。そして、対象画素詳細判定手段１４は、ある周波数（例えば、任意の周波数、あるいは、ｔａｎθの整数倍の周波数）における強度が閾値以上であるか否かを判定し、その周波数における強度が閾値以上であれば、ステップＳ３でジャギー除去対象画素と判定された注目画素を、ジャギー除去対象画素として確定する。一方、ある周波数における強度が閾値未満であれば、ステップＳ３で注目画素がジャギー除去対象画素であると判定された局所領域であっても、ステップＳ４以降の処理の対象外とする。
【００９７】
そして、第２の実施形態では、ステップＳ２１で注目画素がジャギー除去対象画素として確定した局所領域に対して、ジャギー除去手段２０が、ステップＳ４〜Ｓ６の処理を行う。
【００９８】
上記の説明のように、ステップＳ３の後、対象画素詳細判定手段１４がステップＳ２１を行い、ステップＳ４〜Ｓ６の処理対象を絞り込む点が第１の実施形態とは異なる。他の点に関しては、第１の実施形態と同様である。
【００９９】
第１の実施形態では、局所領域内で均一な輝度勾配が存在するかどうかという観点で、注目画素がジャギー除去対象画素であるか否かを判定していた。第２の実施形態では、さらに、局所領域内において、注目画素から固有ベクトルｖ２方向や、ベクトルｖ２の逆ベクトル方向に並ぶ画素の画素値の変化が、ジャギーの特徴に該当するか否かという判断基準も加えて、注目画素がジャギー除去対象画素としてより適切か否かを判定して、より適切と判定される注目画素をジャギー除去対象画素として確定する。そして、その注目画素を有する局所領域を対象にステップＳ４〜Ｓ６を行う。従って、第２の実施形態では、第１の実施形態と同様の効果に加えて、ジャギー除去対象画素をより適切に検出することができるという効果も得ることができる。
【０１００】
実施形態３．
図１４は、本発明の第３の実施形態の画像処理システムを示すブロック図である。図１に示す要素と同様の要素に関しては、図１と同一の符号を付し説明を省略する。
【０１０１】
第３の実施形態においても、例えば、画像処理システムには、処理対象画像が入力され、画像処理システムは、その処理対象の画像を複製したものを修正画像の初期状態としてメモリ（図示略）に記憶させておく。そして、画像処理システムは、処理対象画像においてジャギー除去対象画素と判定された画素に対応する修正画像内の画素の画素値を定めていく。
【０１０２】
第３の実施形態の画像処理システム５０は、ジャギー除去対象画素検出手段１０と、ジャギー除去手段６０とを備える。
【０１０３】
ジャギー除去対象画素検出手段１０は、輝度勾配算出手段１１と、主成分分析手段１２と、対象画素判定手段１３とを含む。ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）に関しては、本発明の実施形態と同様であり、説明を省略する。なお、図２に示す構成と同様に、局所領域切り出し手段３０が設けられていてもよい。
【０１０４】
第３の実施形態において、ジャギー除去手段６０は、注目画素がジャギー除去対象画素であると判定された場合に、その注目画素を中心とする局所領域に関して算出された固有値および固有ベクトルに基づいて、その注目画素に対するジャギー除去用フィルタを適応的に生成する。そして、ジャギー除去手段６０は、その局所領域に対してそのジャギー除去用フィルタを適用する。そして、ジャギー除去手段６０は、そのフィルタリング結果を、ジャギー除去対象画素であると判定された画素に対応する修正画像内の画素の画素値として決定する。そして、修正画像内におけるその画素の画素値を、フィルタリング結果の値で更新する。
【０１０５】
ジャギー除去手段６０は、フィルタ係数算出手段６１と、フィルタ演算手段６２とを含む。
【０１０６】
フィルタ係数算出手段６１は、注目画素がジャギー除去対象画素であると判定された場合に、その注目画素を中心とする局所領域に関して算出された固有ベクトルｖ１方向にはぼけが小さく、ｖ１に直交する方向（すなわち固有ベクトルｖ２方向）にはぼけが大きくなるぼかしフィルタのフィルタ係数を算出する。すなわち、このフィルタでは、固有ベクトルｖ２方向のぼけの程度が、固有ベクトルｖ１方向のぼけの程度よりも大きい。
【０１０７】
フィルタ適用手段６２は、その局所領域に対して、フィルタ係数算出手段６１が定めたフィルタ係数で定義されるぼかしフィルタを適用することによって、フィルタリング結果を算出する。そして、ジャギー除去対象画素であると判定された注目画素に対応する修正画像内の画素の画素値を、そのフィルタリング結果の値に更新する。
【０１０８】
ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）と、ジャギー除去手段６０（フィルタ係数算出手段６１およびフィルタ演算手段６２）は、例えば、画像処理用プログラムに従って動作するコンピュータにより実現される。
【０１０９】
また、ジャギー除去対象画素検出手段１０とジャギー除去手段６０が別々のユニットで実現されていてもよい。さらに、輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３が別々のユニットで実現されていてもよく、また、フィルタ係数算出手段６１およびフィルタ演算手段６２が別々のユニットで実現されていてもよい。
【０１１０】
図１５は、第３の実施形態の画像処理システムの処理経過の例を示すフローチャートである。ステップＳ１〜Ｓ３までの処理は、本発明の実施形態におけるステップＳ１〜Ｓ３（図７参照）と同様であり、説明を省略する。
【０１１１】
ステップＳ１〜Ｓ３の処理の結果、注目画素がジャギー除去対象画素ではないと判定された場合、画像処理システム５０は、現在処理対象としている局所領域に関する処理を終了し、次の局所領域に関する処理を開始する。一方、注目画素がジャギー除去対象画素であると判定された場合、ジャギー除去手段６０は、現在処理対象としている局所領域について、ステップＳ１１，Ｓ１２の処理を行う。
【０１１２】
フィルタ係数算出手段６１は、ジャギー除去対象画素であると判定された注目画素を中心とする局所領域についてステップＳ２で算出された固有値および固有ベクトルを用いて、ジャギー除去用フィルタを生成する。具体的には、フィルタ係数算出手段６１は、固有ベクトルｖ１方向にはぼけが小さく、固有ベクトルｖ２方向にはぼけが大きくなるようなぼかしフィルタのフィルタ係数を算出する（ステップＳ１１）。ジャギー除去用フィルタの種類として、例えば、ガウシアンフィルタ等が挙げられるが、ガウシアンフィルタ以外のフィルタであってもよい。
【０１１３】
図１６は、ガウシアンフィルタを模式的に示した図である。図１６では、明るい箇所ほど高い重みを持つ（換言すれば、フィルタ係数の値が大きい）。また、図１６では、図８（ａ）に示す領域２０１に対応するガウシアンフィルタを例にしている。図１６に示す長軸４０１は、固有ベクトルｖ２（図８（ａ）参照）の方向である。また、短軸４０２は、固有ベクトルｖ１（図８（ａ）参照）の方向である。フィルタ係数算出手段６１は、各軸方向の分散σ１，σ２をそれぞれ固有値λ１，λ２に比例する値として予め設定しておく。本例では、σ１，σ２は可変であるとしたが、σ１，σ２を固定値としてもよい。例えば、σ１＝２．０，σ２＝１．０等のように、σ１，σ２を固定値として定めて置いてもよい。
【０１１４】
ステップＳ１１の後、フィルタ演算手段６２は、ジャギー除去対象画素であると判定された注目画素を中心とする局所領域に、ステップＳ１１で定められたジャギー除去用フィルタを適用し、フィルタリング結果を求める。すなわち、局所領域内の画素の画素値にその画素に対応するフィルタの係数を乗じる処理を局所領域内の各画素について行い、その乗算結果の和を算出する。そして、フィルタ演算手段６２は、その注目画素に対応する修正画像内の画素の画素値を、フィルタリング結果の値に更新する（ステップＳ１２）。
【０１１５】
上記の第３の実施形態によれば、ジャギーパターンやジャギー修正用パターンを予め用意しておく必要がないため、種々の画像に関してジャギー除去を実現することができる。例えば、二値画像に限らず、グレースケール画像やカラー画像におけるジャギーを除去することができる。また、未知のスケーラによってアップスケールされた画像内に生じたジャギーも除去することができる。
【０１１６】
第３の実施形態において、ジャギー除去対象画素検出手段１０に対象画素詳細判定手段１４（図９参照）を含める構成としてもよい。すなわち、ジャギー除去対象画素検出手段として、第２の実施形態で説明した対象画素詳細判定手段１４（図９参照）を用いてもよい。この場合、第２の実施の形態と同様に、ステップＳ３の後にステップＳ２１（図１３参照）を実行すればよい。そして、対象画素判定手段１３によって中心画素がジャギー除去対象画素であると判定され、かつ、対象画素詳細判定手段１４によって条件（第２の実施形態で示した条件）が満たされていると判定された局所領域に適用するぼかしフィルタの係数を、フィルタ係数算出手段６１がステップＳ１１で算出すればよい。さらに、フィルタ演算手段が、その局所領域に対してそのぼかしフィルタを適用してステップＳ１２を実行すればよい。このような構成により、ジャギー除去対象画素をより適切に検出することができるという効果も得ることができる。
【０１１７】
次に、本発明の最小構成について説明する。図１７は、本発明の最小構成の例を示すブロック図である。本発明の画像処理システムは、輝度勾配算出手段８１と、主成分分析手段８２と、対象画素判定手段８３と、基底フィルタ演算手段８４と、重み算出手段８５と、フィルタリング結果重み演算手段８６とを備える。
【０１１８】
輝度勾配算出手段８１（例えば、輝度勾配算出手段１１）は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する。
【０１１９】
主成分分析手段８２（例えば、主成分分析手段１２）は、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する。
【０１２０】
対象画素判定手段８３（例えば、対象画素判定手段１３）は、局所領域の中心画素における輝度勾配および主成分分析手段８２に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する。
【０１２１】
基底フィルタ演算手段８４（例えば、基底フィルタ演算手段２１）は、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、その局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する。
【０１２２】
重み算出手段８５（例えば、フィルタ重み計算手段２２）は、複数種類の基底フィルタに対する重みを、主成分分析手段８２に計算された特徴量に基づいて計算する。
【０１２３】
フィルタリング結果重み演算手段８６（例えば、重み付き平均計算手段２３）は、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定する。
【０１２４】
以上のような構成により、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、高速にジャギーを除去することができる。
【０１２５】
また、主成分分析手段８２が、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトル（例えば、ｖ１）と、第１の固有ベクトルに垂直な第２の固有ベクトル（例えば、ｖ２）とを計算し、対象画素判定手段８３によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段（例えば、対象画素詳細判定手段１４）を備え、基底フィルタ演算手段８４が、対象画素判定手段８３によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によって条件が満たされていると判定された局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する構成であってもよい。
【０１２６】
図１８は、本発明の最小構成の他の例を示すブロック図である。本発明の画像処理システムは、図１８に示すように、輝度勾配算出手段９１と、主成分分析手段９２と、対象画素判定手段９３と、フィルタ係数算出手段９４と、フィルタ演算手段９５とを備える構成であってもよい。
【０１２７】
輝度勾配算出手段９１（例えば、輝度勾配算出手段１１）は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する。
【０１２８】
主成分分析手段９２（例えば、主成分分析手段１２）は、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトル（例えば、ｖ１）と、第１の固有ベクトルに垂直な第２の固有ベクトル（例えば、ｖ２）とを計算する。
【０１２９】
対象画素判定手段９３（例えば、対象画素判定手段１３）は、局所領域の中心画素における輝度勾配および主成分分析手段９２に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する。
【０１３０】
フィルタ係数算出手段９４（例えば、フィルタ係数算出手段６１）は、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出する。
【０１３１】
フィルタ演算手段９５（例えば、フィルタ演算手段６２）は、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対してぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定する。
【０１３２】
以上のような構成により、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる。
【０１３３】
また、対象画素判定手段９３によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段（例えば、対象画素詳細判定手段１４）を備え、フィルタ係数算出手段９４が、対象画素判定手段９３によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によってその条件が満たされていると判定された局所領域に適用するフィルタの係数として、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、フィルタ演算手段９５が、その局所領域に対してそのぼかしフィルタを適用することによって、修正画像における、その局所領域の中心画素に対応する画素の画素値を決定する構成であってもよい。
【０１３４】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１３５】
（付記１）処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出部と、前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析部と、前記局所領域の中心画素における輝度勾配および主成分分析部に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定部と、前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算部と、前記複数種類の基底フィルタに対する重みを、主成分分析部に計算された前記特徴量に基づいて計算する重み算出部と、前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算部とを備えることを特徴とする画像処理システム。
【０１３６】
（付記２）主成分分析部は、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定部を備え、基底フィルタ演算部は、対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定部によって前記条件が満たされていると判定された局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する付記１に記載の画像処理システム。
【０１３７】
（付記３）処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出部と、前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析部と、前記局所領域の中心画素における輝度勾配および主成分分析部に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定部と、前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出部と、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算部とを備えることを特徴とする画像処理システム。
【０１３８】
（付記４）対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定部を備え、フィルタ係数算出部は、対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定部によって前記条件が満たされていると判定された局所領域に適用するフィルタの係数として、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、フィルタ演算部は、前記局所領域に対して前記ぼかしフィルタを適用することによって、修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する付記３に記載の画像処理システム。
【０１３９】
この出願は、２０１１年１月２０日に出願された日本特許出願２０１１−００９８３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１４０】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用の可能性】
【０１４１】
本発明は、画像内のジャギーを除去する画像処理システムに好適に適用される。
【符号の説明】
【０１４２】
１  画像処理システム
１０  ジャギー除去対象画素検出手段
１１  輝度勾配算出手段
１２  主成分分析手段
１３  対象画素判定手段
１４  対象画素詳細判定手段
２０  ジャギー除去手段
２１  基底フィルタ演算手段
２２  フィルタ重み計算手段
２３  重み付き平均計算手段
【図１】
2012098854.tif 000010
【図２】
2012098854.tif 000011
【図３】
2012098854.tif 000012
【図４】
2012098854.tif 000013
【図５】
2012098854.tif 000014
【図６】
2012098854.tif 000015
【図７】
2012098854.tif 000016
【図８】
2012098854.tif 000017
【図９】
2012098854.tif 000018
【図１０】
2012098854.tif 000019
【図１１】
2012098854.tif 000020
【図１２】
2012098854.tif 000021
【図１３】
2012098854.tif 000022
【図１４】
2012098854.tif 000023
【図１５】
2012098854.tif 000024
【図１６】
2012098854.tif 000025
【図１７】
2012098854.tif 000026
【図１８】
2012098854.tif 000027
【国際調査報告】
2012098854.tif 000028
2012098854.tif 000029
2012098854.tif 000030
2012098854.tif 000031