(57)【特許請求の範囲】
【請求項１】
原画像において注目する画素である注目画素におけるエッジの方向を検出するエッジ方向検出手段と、
前記エッジの方向の信頼度を検出する信頼度検出手段と、
前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出するコントラスト検出手段と、
前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値を設定するテクスチャコントラスト重み値設定手段と、
前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値である第１のエッジコントラスト重み値を設定する第１のエッジコントラスト重み値設定手段と、
前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値を設定するテクスチャ重み値設定手段と、
前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記第１のエッジコントラスト重み値に基づく重み値であるエッジ重み値を設定するエッジ重み値設定手段と、
前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことにより第１のテクスチャフィルタ画像を生成するテクスチャフィルタ手段と、
前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことにより第１のエッジフィルタ画像を生成するエッジフィルタ手段と、
前記原画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第１のテクスチャ合成画像を生成するテクスチャ合成手段と、
前記第１のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第１のエッジ合成画像を生成するエッジ合成手段と
を含む画像処理装置。
【請求項２】
前記信頼度検出手段は、前記注目画素を中心とする前記エッジの方向にある画素を用いて算出した画素値と、前記注目画素の近傍の画素の画素値との整合性に基づいて、前記エッジ方向の信頼度を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記コントラスト検出手段は、前記第１の領域内の各画素間の画素値の差分の絶対値に画素間の距離に応じた重みを乗じた値の合計値を前記コントラスト強度として検出する
請求項１に記載の画像処理装置。
【請求項４】
前記テクスチャコントラスト重み値設定手段は、前記コントラスト強度が、前記テクスチャ領域において現れる頻度が高い、所定の第１のコントラスト強度以上かつ第２のコントラスト強度以下となる範囲において、最大となり、前記テクスチャ領域において現れる頻度が低い、所定の第３のコントラスト強度未満となる範囲および第４のコントラスト強度を超える範囲において、最小となり、前記第３のコントラスト強度以上かつ前記第１のコントラスト強度未満となる範囲において、前記コントラスト強度が強くなるに従い大きくなり、前記第２のコントラスト強度を超えかつ前記第４のコントラスト強度未満となる範囲において、前記コントラスト強度が強くなるに従い小さくなるように前記テクスチャコントラスト重み値を設定し、
前記エッジコントラスト重み値設定手段は、前記コントラスト強度が、前記エッジ領域において現れる頻度が高い所定の第５のコントラス強度を超える範囲において、最大となり、前記エッジ領域において現れる頻度が低い所定の第６のコントラスト強度未満となる範囲において、最小となり、前記第６のコントラスト強度以上かつ前記第５のコントラスト強度未満となる範囲において、前記コントラスト強度が強くなるに従い大きくなるように前記第１のエッジコントラスト重み値を設定する
請求項１に記載の画像処理装置。
【請求項５】
前記テクスチャ重み値設定手段は、前記第２の領域内の画素の前記エッジの方向の信頼度および前記テクスチャコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記テクスチャ重み値に設定し、
前記エッジ重み値設定手段は、前記第３の領域内の画素の前記エッジの方向の信頼度および前記第１のエッジコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記エッジ重み値に設定する
請求項１に記載の画像処理装置。
【請求項６】
前記テクスチャフィルタ手段は、前記原画像の所定の周波数帯域の成分を強調するフィルタ処理を行い、
前記エッジフィルタ手段は、前記原画像のエッジを強調するフィルタ処理を行う
請求項１に記載の画像処理装置。
【請求項７】
前記テクスチャ合成手段は、前記テクスチャ重み値が大きいほど、前記第１のテクスチャフィルタ画像の比率を高くし、前記テクスチャ重み値が小さいほど、前記原画像の画素値の比率を高くして、前記原画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を加算し、
前記エッジ合成手段は、前記エッジ重み値が大きいほど、前記第１のエッジフィルタ画像の比率を高くし、前記エッジ重み値が小さいほど、前記第１のテクスチャ合成画像の画素値の比率を高くして、前記第１のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を加算する
請求項１に記載の画像処理装置。
【請求項８】
前記注目画素について、前記フラット領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるフラットコントラスト重み値を設定するフラットコントラスト重み値設定手段と、
前記注目画素を含む近傍の第４の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記フラットコントラスト重み値に基づく重み値であるフラット重み値を設定するフラット重み値設定手段と、
前記原画像に対して、前記フラット領域に対する処理を目的としたフィルタ処理であるフラットフィルタ処理を行うことによりフラットフィルタ画像を生成するフラットフィルタ手段と、
前記原画像と前記フラットフィルタ画像との対応する位置にある画素の画素値を、前記フラット重み値に基づく重みをつけて加算することによりフラット合成画像を生成するフラット合成手段と
をさらに含み、
前記テクスチャ合成手段は、前記フラット合成画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第２のテクスチャ合成画像を生成し、
前記エッジ合成手段は、前記第２のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第２のエッジ合成画像を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記フラットコントラスト重み値設定手段は、前記コントラスト強度が、前記フラット領域において現れる頻度が高い所定の第１のコントラス強度以下の範囲において、最大となり、前記フラット領域において現れる頻度が低い所定の第２のコントラスト強度を超える範囲において、最小となり、前記第１のコントラスト強度を超えかつ前記第２のコントラスト強度以下となる範囲において、前記コントラスト強度が強くなるに従い小さくなるように前記フラットコントラスト重み値を設定する
請求項８に記載の画像処理装置。
【請求項１０】
前記フラット重み値設定手段は、前記第４の領域内の画素の前記エッジの方向の信頼度および前記フラットコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記フラット重み値に設定する
請求項８に記載の画像処理装置。
【請求項１１】
前記フラットフィルタ手段は、前記原画像の高周波帯域の成分を減衰させるフィルタ処理を行う
請求項８に記載の画像処理装置。
【請求項１２】
前記フラット合成手段は、前記フラット重み値が大きいほど、前記フラットフィルタ画像の比率を高くし、前記フラット重み値が小さいほど、前記原画像の画素値の比率を高くして、前記原画像と前記フラットフィルタ画像との対応する位置にある画素の画素値を加算し、
前記テクスチャ合成手段は、前記テクスチャ重み値が大きいほど、前記第１のテクスチャフィルタ画像の比率を高くし、前記テクスチャ重み値が小さいほど、前記フラット合成画像の画素値の比率を高くして、前記フラット合成画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を加算し、
前記エッジ合成手段は、前記エッジ重み値が大きいほど、前記第１のエッジフィルタ画像の比率を高くし、前記エッジ重み値が小さいほど、前記第２のテクスチャ合成画像の画素値の比率を高くして、前記第２のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を加算する
請求項８に記載の画像処理装置。
【請求項１３】
前記注目画素は、前記原画像に補間することにより加えられる画素であり、
前記第注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値である第２のエッジコントラスト重み値を設定する第２のエッジコントラスト重み値設定手段と、
前記注目画素を含む近傍の第４の領域内の画素の前記エッジの方向および前記エッジの方向の信頼度、並びに、前記第２のエッジコントラスト重み値に基づいて、前記注目画素の補間に用いる画素を選択する方向である選択方向を選択する方向選択手段と、
前記注目画素を含む近傍の第５の領域内の画素の前記エッジの方向および前記エッジの方向の信頼度、並びに、前記第２のエッジコントラスト重み値に基づく重み値である斜め重み値を設定する斜め重み値設定手段と、
前記注目画素を中心とする前記選択方向にある前記注目画素の近傍の画素を用いて前記注目画素の画素値を求めることにより前記原画像を補間した第１の補間画像を生成する第１の補間手段と、
前記第１の補間手段とは異なる方法により前記原画像を補間した第２の補間画像を生成する第２の補間手段と、
前記第１の補間画像と前記第２の補間画像との対応する位置にある画素の画素値を、前記斜め重み値に基づく重みをつけて加算することにより補間合成画像を生成する補間画像合成手段と
をさらに含み、
前記テクスチャフィルタ手段は、前記補間合成画像に対して、前記テクスチャフィルタ処理を行うことにより第２のテクスチャフィルタ画像を生成し、
前記エッジフィルタ手段は、前記補間合成画像に対して、前記エッジフィルタ処理を行うことにより第２のエッジフィルタ画像を生成し、
前記テクスチャ合成手段は、前記補間合成画像と前記第２のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第２のテクスチャ合成画像を生成し、
前記エッジ合成手段は、前記第２のテクスチャ合成画像と前記第２のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第２のエッジ合成画像を生成する
請求項１に記載の画像処理装置。
【請求項１４】
前記方向選択手段は、前記エッジ方向の信頼度が高くかつ前記第２のエッジコントラスト重み値が大きい前記第４の領域内の画素における前記エッジの方向の分布に基づいて、前記選択方向を選択する
請求項１３に記載の画像処理装置。
【請求項１５】
前記斜め重み値設定手段は、前記第５の領域内の画素における前記エッジの方向の信頼度および前記第２のエッジコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記斜め重み値に設定する
請求項１３に記載の画像処理装置。
【請求項１６】
前記テクスチャ合成手段は、前記テクスチャ重み値が大きいほど、前記第２のテクスチャフィルタ画像の比率を高くし、前記テクスチャ重み値が小さいほど、前記補間合成画像の画素値の比率を高くして、前記補間合成画像と前記第２のテクスチャフィルタ画像との対応する位置にある画素の画素値を加算し、
前記エッジ合成手段は、前記エッジ重み値が大きいほど、前記第２のエッジフィルタ画像の比率を高くし、前記エッジ重み値が小さいほど、前記第２のテクスチャ合成画像の画素値の比率を高くして、前記第２のテクスチャ合成画像と前記第２のエッジフィルタ画像との対応する位置にある画素の画素値を加算する
請求項１３に記載の画像処理装置。
【請求項１７】
原画像において注目する画素である注目画素におけるエッジの方向を検出し、
前記エッジの方向の信頼度を検出し、
前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出し、
前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値を設定し、
前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるエッジコントラスト重み値を設定し、
前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値を設定し、
前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記エッジコントラスト重み値に基づく重み値であるエッジ重み値を設定し、
前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことによりテクスチャフィルタ画像を生成し、
前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことによりエッジフィルタ画像を生成し、
前記原画像と前記テクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することによりテクスチャ合成画像を生成し、
前記テクスチャ合成画像と前記エッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することによりエッジ合成画像を生成する
ステップを含む画像処理方法。
【請求項１８】
原画像において注目する画素である注目画素におけるエッジの方向を検出し、
前記エッジの方向の信頼度を検出し、
前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出し、
前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値を設定し、
前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるエッジコントラスト重み値を設定し、
前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値を設定し、
前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記エッジコントラスト重み値に基づく重み値であるエッジ重み値を設定し、
前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことによりテクスチャフィルタ画像を生成し、
前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことによりエッジフィルタ画像を生成し、
前記原画像と前記テクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することによりテクスチャ合成画像を生成し、
前記テクスチャ合成画像と前記エッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することによりエッジ合成画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１９】
請求項１８に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、特に、画像の特徴に適応した画質の調整を行う画像処理装置および方法、記録媒体、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、画像のエッジの鮮鋭感を向上させるエッジ強調の方法が提案されている（例えば、特許文献１および特許文献２参照）。
【０００３】
【特許文献１】特開２００３−１６４４２号公報
【特許文献２】特表２００５−５２７０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像のエッジの鮮鋭感を向上させただけでは、ユーザが所望する画質を得られない場合がある。また、同じエッジ強調処理を行っても、画像の特徴により得られる効果は異なり、逆に画質が劣化してしまう場合もある。さらに、１枚の画像においても、画像の特徴が大きく異なる領域が存在する場合、エッジ強調処理による効果にばらつきが生じる場合がある。
【０００５】
本発明は、このような状況を鑑みてなされたものであり、より画像の特徴に適応した画質の調整を行うことができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の画像処理装置は、原画像において注目する画素である注目画素におけるエッジの方向を検出するエッジ方向検出手段と、前記エッジの方向の信頼度を検出する信頼度検出手段と、前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出するコントラスト検出手段と、前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値を設定するテクスチャコントラスト重み値設定手段と、前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値である第１のエッジコントラスト重み値を設定する第１のエッジコントラスト重み値設定手段と、前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値を設定するテクスチャ重み値設定手段と、前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記第１のエッジコントラスト重み値に基づく重み値であるエッジ重み値を設定するエッジ重み値設定手段と、前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことにより第１のテクスチャフィルタ画像を生成するテクスチャフィルタ手段と、前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことにより第１のエッジフィルタ画像を生成するエッジフィルタ手段と、前記原画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第１のテクスチャ合成画像を生成するテクスチャ合成手段と、前記第１のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第１のエッジ合成画像を生成するエッジ合成手段とを含む。
【０００７】
前記信頼度検出手段には、前記注目画素を中心とする前記エッジの方向にある画素を用いて算出した画素値と、前記注目画素の近傍の画素の画素値との整合性に基づいて、前記エッジ方向の信頼度を検出させることができる。
【０００８】
前記コントラスト検出手段には、前記第１の領域内の各画素間の画素値の差分の絶対値に画素間の距離に応じた重みを乗じた値の合計値を前記コントラスト強度として検出させることができる。
【０００９】
前記テクスチャコントラスト重み値設定手段には、前記コントラスト強度が、前記テクスチャ領域において現れる頻度が高い、所定の第１のコントラスト強度以上かつ第２のコントラスト強度以下となる範囲において、最大となり、前記テクスチャ領域において現れる頻度が低い、所定の第３のコントラスト強度未満となる範囲および第４のコントラスト強度を超える範囲において、最小となり、前記第３のコントラスト強度以上かつ前記第１のコントラスト強度未満となる範囲において、前記コントラスト強度が強くなるに従い大きくなり、前記第２のコントラスト強度を超えかつ前記第４のコントラスト強度未満となる範囲において、前記コントラスト強度が強くなるに従い小さくなるように前記テクスチャコントラスト重み値を設定させ、前記エッジコントラスト重み値設定手段は、前記コントラスト強度が、前記エッジ領域において現れる頻度が高い所定の第５のコントラス強度を超える範囲において、最大となり、前記エッジ領域において現れる頻度が低い所定の第６のコントラスト強度未満となる範囲において、最小となり、前記第６のコントラスト強度以上かつ前記第５のコントラスト強度未満となる範囲において、前記コントラスト強度が強くなるに従い大きくなるように前記第１のエッジコントラスト重み値を設定させることができる。
【００１０】
前記テクスチャ重み値設定手段には、前記第２の領域内の画素の前記エッジの方向の信頼度および前記テクスチャコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記テクスチャ重み値に設定させ、前記エッジ重み値設定手段には、前記第３の領域内の画素の前記エッジの方向の信頼度および前記第１のエッジコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記エッジ重み値に設定させることができる。
【００１１】
前記テクスチャフィルタ手段には、前記原画像の所定の周波数帯域の成分を強調するフィルタ処理を行わせ前記エッジフィルタ手段には、前記原画像のエッジを強調するフィルタ処理を行わせることができる。
【００１２】
前記テクスチャ合成手段には、前記テクスチャ重み値が大きいほど、前記第１のテクスチャフィルタ画像の比率を高くし、前記テクスチャ重み値が小さいほど、前記原画像の画素値の比率を高くして、前記原画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を加算させ、前記エッジ合成手段には、前記エッジ重み値が大きいほど、前記第１のエッジフィルタ画像の比率を高くし、前記エッジ重み値が小さいほど、前記第１のテクスチャ合成画像の画素値の比率を高くして、前記第１のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を加算させることができる。
【００１３】
前記注目画素について、前記フラット領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるフラットコントラスト重み値を設定するフラットコントラスト重み値設定手段と、前記注目画素を含む近傍の第４の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記フラットコントラスト重み値に基づく重み値であるフラット重み値を設定するフラット重み値設定手段と、前記原画像に対して、前記フラット領域に対する処理を目的としたフィルタ処理であるフラットフィルタ処理を行うことによりフラットフィルタ画像を生成するフラットフィルタ手段と、前記原画像と前記フラットフィルタ画像との対応する位置にある画素の画素値を、前記フラット重み値に基づく重みをつけて加算することによりフラット合成画像を生成するフラット合成手段とをさらに設け、前記テクスチャ合成手段には、前記フラット合成画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第２のテクスチャ合成画像を生成させ、前記エッジ合成手段には、前記第２のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第２のエッジ合成画像を生成させることができる。
【００１４】
前記フラットコントラスト重み値設定手段には、前記コントラスト強度が、前記フラット領域において現れる頻度が高い所定の第１のコントラス強度以下の範囲において、最大となり、前記フラット領域において現れる頻度が低い所定の第２のコントラスト強度を超える範囲において、最小となり、前記第１のコントラスト強度を超えかつ前記第２のコントラスト強度以下となる範囲において、前記コントラスト強度が強くなるに従い小さくなるように前記フラットコントラスト重み値を設定させることができる。
【００１５】
前記フラット重み値設定手段には、前記第４の領域内の画素の前記エッジの方向の信頼度および前記フラットコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記フラット重み値に設定させることができる。
【００１６】
前記フラットフィルタ手段には、前記原画像の高周波帯域の成分を減衰させるフィルタ処理を行わせることができる。
【００１７】
前記フラット合成手段には、前記フラット重み値が大きいほど、前記フラットフィルタ画像の比率を高くし、前記フラット重み値が小さいほど、前記原画像の画素値の比率を高くして、前記原画像と前記フラットフィルタ画像との対応する位置にある画素の画素値を加算させ、前記テクスチャ合成手段には、前記テクスチャ重み値が大きいほど、前記第１のテクスチャフィルタ画像の比率を高くし、前記テクスチャ重み値が小さいほど、前記フラット合成画像の画素値の比率を高くして、前記フラット合成画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を加算させ、前記エッジ合成手段には、前記エッジ重み値が大きいほど、前記第１のエッジフィルタ画像の比率を高くし、前記エッジ重み値が小さいほど、前記第２のテクスチャ合成画像の画素値の比率を高くして、前記第２のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を加算させることができる。
【００１８】
前記注目画素は、前記原画像に補間することにより加えられる画素であり、前記第注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値である第２のエッジコントラスト重み値を設定する第２のエッジコントラスト重み値設定手段と、前記注目画素を含む近傍の第４の領域内の画素の前記エッジの方向および前記エッジの方向の信頼度、並びに、前記第２のエッジコントラスト重み値に基づいて、前記注目画素の補間に用いる画素を選択する方向である選択方向を選択する方向選択手段と、前記注目画素を含む近傍の第５の領域内の画素の前記エッジの方向および前記エッジの方向の信頼度、並びに、前記第２のエッジコントラスト重み値に基づく重み値である斜め重み値を設定する斜め重み値設定手段と、前記注目画素を中心とする前記選択方向にある前記注目画素の近傍の画素を用いて前記注目画素の画素値を求めることにより前記原画像を補間した第１の補間画像を生成する第１の補間手段と、前記第１の補間手段とは異なる方法により前記原画像を補間した第２の補間画像を生成する第２の補間手段と、前記第１の補間画像と前記第２の補間画像との対応する位置にある画素の画素値を、前記斜め重み値に基づく重みをつけて加算することにより補間合成画像を生成する補間画像合成手段とをさらに設け、前記テクスチャフィルタ手段には、前記補間合成画像に対して、前記テクスチャフィルタ処理を行うことにより第２のテクスチャフィルタ画像を生成させ、前記エッジフィルタ手段には、前記補間合成画像に対して、前記エッジフィルタ処理を行うことにより第２のエッジフィルタ画像を生成させ、前記テクスチャ合成手段には、前記補間合成画像と前記第２のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第２のテクスチャ合成画像を生成させ、前記エッジ合成手段には、前記第２のテクスチャ合成画像と前記第２のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第２のエッジ合成画像を生成させることができる。
【００１９】
前記方向選択手段には、前記エッジ方向の信頼度が高くかつ前記第２のエッジコントラスト重み値が大きい前記第４の領域内の画素における前記エッジの方向の分布に基づいて、前記選択方向を選択させることができる。
【００２０】
前記斜め重み値設定手段には、前記第５の領域内の画素における前記エッジの方向の信頼度および前記第２のエッジコントラスト重み値、並びに、前記エッジの方向に応じた重みを乗じた値の合計値を前記斜め重み値に設定させることができる。
【００２１】
前記テクスチャ合成手段には、前記テクスチャ重み値が大きいほど、前記第２のテクスチャフィルタ画像の比率を高くし、前記テクスチャ重み値が小さいほど、前記補間合成画像の画素値の比率を高くして、前記補間合成画像と前記第２のテクスチャフィルタ画像との対応する位置にある画素の画素値を加算させ、前記エッジ合成手段には、前記エッジ重み値が大きいほど、前記第２のエッジフィルタ画像の比率を高くし、前記エッジ重み値が小さいほど、前記第２のテクスチャ合成画像の画素値の比率を高くして、前記第２のテクスチャ合成画像と前記第２のエッジフィルタ画像との対応する位置にある画素の画素値を加算させることができる。
【００２２】
本発明の一側面の画像処理方法、または、プログラムもしくは記録媒体に記録されているプログラムは、原画像において注目する画素である注目画素におけるエッジの方向を検出し、前記エッジの方向の信頼度を検出し、前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出し、前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値を設定し、前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるエッジコントラスト重み値を設定し、前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値を設定し、前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記エッジコントラスト重み値に基づく重み値であるエッジ重み値を設定し、前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことによりテクスチャフィルタ画像を生成し、前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことによりエッジフィルタ画像を生成し、前記原画像と前記テクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することによりテクスチャ合成画像を生成し、前記テクスチャ合成画像と前記エッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することによりエッジ合成画像を生成するステップを含む。
【００２３】
本発明の一側面においては、原画像において注目する画素である注目画素におけるエッジの方向が検出され、前記エッジの方向の信頼度が検出され、前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度が検出され、前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値が設定され、前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるエッジコントラスト重み値が設定され、前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値が設定され、前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記エッジコントラスト重み値に基づく重み値であるエッジ重み値が設定され、前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことによりテクスチャフィルタ画像が生成され、前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことによりエッジフィルタ画像が生成され、前記原画像と前記テクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することによりテクスチャ合成画像が生成され、前記テクスチャ合成画像と前記エッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することによりエッジ合成画像が生成される。
【発明の効果】
【００２４】
以上のように、本発明の一側面によれば、より正確に画像の特徴を検出することができる。また、本発明の一側面によれば、より画像の特徴に適応した画質の調整を行うことができる。
【発明を実施するための最良の形態】
【００２５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２６】
本発明の一側面の画像処理装置（例えば、図１の画像処理装置１または図１８の画像処理装置３０１）は、原画像において注目する画素である注目画素におけるエッジの方向を検出するエッジ方向検出手段（例えば、図２の方向検出部１０１または図１９の方向検出部４０１）と、前記エッジの方向の信頼度を検出する信頼度検出手段（例えば、図２の信頼度検出部１０３または図１９の信頼度検出部４０３）と、前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出するコントラスト検出手段（例えば、図２のコントラスト計算部１０５または図１９のコントラスト計算部４０５）と、前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値（例えば、weight_contrast_T）を設定するテクスチャコントラスト重み値設定手段（例えば、図２のテクスチャコントラスト分布生成部１０８または図１９のテクスチャコントラスト分布生成部４０８）と、前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値である第１のエッジコントラスト重み値（例えば、weight_contrast_E）を設定する第１のエッジコントラスト重み値設定手段（例えば、図２のエッジコントラスト分布生成部１０９または図１９のエッジコントラスト分布生成部４０９）と、前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値（例えば、weight_texture）を設定するテクスチャ重み値設定手段（例えば、図２のテクスチャ強度情報生成部１１３または図１９のテクスチャ強度情報生成部４１３）と、前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記第１のエッジコントラスト重み値に基づく重み値であるエッジ重み値（例えば、weight_edge）を設定するエッジ重み値設定手段（例えば、図２のエッジ強度情報生成部１１４または図１９のエッジ強度情報生成部４１４）と、前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことにより第１のテクスチャフィルタ画像を生成するテクスチャフィルタ手段（例えば、図４のテクスチャフィルタ処理部２０３）と、前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことにより第１のエッジフィルタ画像を生成するエッジフィルタ手段（例えば、図４のエッジフィルタ処理部２０５）と、前記原画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第１のテクスチャ合成画像を生成するテクスチャ合成手段（例えば、図４のテクスチャ適応混合処理部２���４）と、前記第１のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第１のエッジ合成画像を生成するエッジ合成手段（例えば、図４のエッジ適応混合処理部２０６）とを含む。
【００２７】
本発明の一側面の画像処理装置においては、前記注目画素について、前記フラット領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるフラットコントラスト重み値（例えば、weight_contorast_F）を設定するフラットコントラスト重み値設定手段（例えば、図２のフラットコントラスト分布生成部１０７または図１９のフラットコントラスト分布生成部４０７）と、前記注目画素を含む近傍の第４の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記フラットコントラスト重み値に基づく重み値であるフラット重み値（例えば、weight_flat）を設定するフラット重み値設定手段（例えば、図２のフラット強度情報生成部１１２または図１９のフラット強度情報生成部４１２）と、前記原画像に対して、前記フラット領域に対する処理を目的としたフィルタ処理であるフラットフィルタ処理を行うことによりフラットフィルタ画像を生成するフラットフィルタ手段（例えば、図４のフラットフィルタ処理部２０１）と、前記原画像と前記フラットフィルタ画像との対応する位置にある画素の画素値を、前記フラット重み値に基づく重みをつけて加算することによりフラット合成画像を生成するフラット合成手段（例えば、図４のフラット適応混合処理部２０２）とをさらに備え、前記テクスチャ合成手段は、前記フラット合成画像と前記第１のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第２のテクスチャ合成画像を生成し、前記エッジ合成手段は、前記第２のテクスチャ合成画像と前記第１のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第２のエッジ合成画像を生成するようにすることができる。
【００２８】
本発明の一側面の画像処理装置においては、前記注目画素は、前記原画像に補間することにより加えられる画素であり、前記第注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値である第２のエッジコントラスト重み値（例えば、weight_contrast_S）を設定する第２のエッジコントラスト重み値設定手段（例えば、図２の斜めコントラスト分布生成部１０６）と、前記注目画素を含む近傍の第４の領域内の画素の前記エッジの方向および前記エッジの方向の信頼度、並びに、前記第２のエッジコントラスト重み値に基づいて、前記注目画素の補間に用いる画素を選択する方向である選択方向を選択する方向選択手段（例えば、図２の傾き選択部１１０）と、前記注目画素を含む近傍の第５の領域内の画素の前記エッジの方向および前記エッジの方向の信頼度、並びに、前記第２のエッジコントラスト重み値に基づく重み値である斜め重み値（例えば、weight_slant）を設定する斜め重み値設定手段（例えば、図２の斜め重み付け設定部１１１）と、前記注目画素を中心とする前記選択方向にある前記注目画素の近傍の画素を用いて前記注目画素の画素値を求めることにより前記原画像を補間した第１の補間画像を生成する第１の補間手段（例えば、図３の統計傾斜補間部１５２）と、前記第１の補間手段とは異なる方法により前記原画像を補間した第２の補間画像を生成する第２の補間手段（例えば、図３の線形補間部１５１）と、前記第１の補間画像と前記第２の補間画像との対応する位置にある画素の画素値を、前記斜め重み値に基づく重みをつけて加算することにより補間合成画像を生成する補間画像合成手段（例えば、図３の斜め合成部１５３）とをさらに備え、前記テクスチャフィルタ手段は、前記補間合成画像に対して、前記テクスチャフィルタ処理を行うことにより第２のテクスチャフィルタ画像を生成し、前記エッジフィルタ手段は、前記補間合成画像に対して、前記エッジフィルタ処理を行うことにより第２のエッジフィルタ画像を生成し、前記テクスチャ合成手段は、前記補間合成画像と前記第２のテクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することにより第２のテクスチャ合成画像を生成し、前記エッジ合成手段は、前記第２のテクスチャ合成画像と前記第２のエッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することにより第２のエッジ合成画像を生成するようにすることができる。
【００２９】
本発明の一側面の画像処理方法、プログラム、または、記録媒体に記録されているプログラムは、原画像において注目する画素である注目画素におけるエッジの方向を検出し（例えば、図７のステップＳ５６または図２１のステップＳ２５６）、前記エッジの方向の信頼度を検出し（例えば、図７のステップＳ５７または図２１のステップＳ２５７）、前記注目画素について、前記注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出し（例えば、図７のステップＳ６０または図２１のステップＳ２６０）、前記注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値（例えば、weight_contrast_T）を設定し（例えば、図８のステップＳ６６または図２２のステップＳ２６５）、前記注目画素について、前記エッジ領域において現れる頻度が高い所定のコントラスト強度に対する前記注目画素の前記コントラスト強度の近さの度合いに基づく重み値であるエッジコントラスト重み値（例えば、weight_contrast_E）を設定し（例えば、図８のステップＳ６７または図２２のステップＳ２６６）、前記注目画素を含む近傍の第２の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値（例えば、weight_texture）を設定し（例えば、図８のステップＳ７１または図２２のステップＳ２６８）、前記注目画素を含む近傍の第３の領域内の画素の前記エッジの方向、前記エッジの方向の信頼度、および、前記エッジコントラスト重み値に基づく重み値であるエッジ重み値（例えば、weight_edge）を設定し（例えば、図８のステップＳ７０または図２２のステップＳ２６７）、前記原画像に対して、前記テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことによりテクスチャフィルタ画像を生成し（例えば、図１６のステップＳ１５２）、前記原画像に対して、前記エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことによりエッジフィルタ画像を生成し（例えば、図１６のステップＳ１５３）、前記原画像と前記テクスチャフィルタ画像との対応する位置にある画素の画素値を、前記テクスチャ重み値に基づく重みをつけて加算することによりテクスチャ合成画像を生成し（例えば、図１６のステップＳ１５５）、前記テクスチャ合成画像と前記エッジフィルタ画像との対応する位置にある画素の画素値を、前記エッジ重み値に基づく重みをつけて加算することによりエッジ合成画像を生成する（例えば、図１６のステップＳ１５６）ステップを含む。
【００３０】
以下、本発明の実施の形態について図を参照して説明する。
【００３１】
図１は、本発明を適用した画像処理装置の一実施の形態を示すブロック図である。本発明を適用した画像処理装置１は、画像入力部１１、画像処理部１２、および、画像出力部１３を含むように構成される。
【００３２】
画像入力部１１は、例えば、記録媒体から読み取ったり、ネットワークを介して、外部の装置から伝送されてくる、処理対象となる画像（以下、入力画像と称する）を画像処理部１２に入力する。
【００３３】
画像処理部１２は、図５などを参照して後述するように、入力画像の解像度を変換する（入力画像を拡大または縮小する）。画像処理部１２は、プロファイラ処理部２１、ダブラ処理部２２、エンハンサ処理部２３、縮小処理部２４、および、画像蓄積部２５を含むように構成される。プロファイラ処理部２１、ダブラ処理部２２、エンハンサ処理部２３、縮小処理部２４、および、画像蓄積部２５は、バス２６を介して相互に接続されている。また、バス２６には、画像入力部１１および画像出力部１３が接続されている。なお、画像処理装置１の各部は、バス２６を介して相互に情報の授受を行うが、以下、バス２６に関する記載は省略する。
【００３４】
プロファイラ処理部２１は、図７および図８などを参照して後述するように、プロファイラ処理を行う。具体的には、プロファイラ処理部２１は、外部から入力された画像のエッジの方向およびその信頼度を検出する。また、プロファイラ処理部２１は、外部から入力された画像のコントラストの強さを検出する。さらに、プロファイラ処理部２１は、注目する画素の補間に用いる画素を選択する方向を選択し、選択結果を示す情報をダブラ処理部２２に供給する。
【００３５】
また、プロファイラ処理部２１は、エッジ方向の顕著性に基づく重み値であり、ダブラ処理部２２が画像を合成する場合に用いる重み値を設定する。なお、エッジ方向の顕著性とは、画像内の注目する画素およびその近傍の領域において、エッジの方向が顕著であるか、または、不確かであるかを示すものであり、例えば、対象となる領域において、エッジの強度が強く、かつ、エッジの方向がほぼ一様である場合、エッジ方向の顕著性は高く、エッジの強度が弱かったり、エッジの方向が分散している場合、エッジ方向の顕著性は低いと評価される。プロファイラ処理部２１は、エッジ方向の顕著性を示す情報をダブラ処理部２２に供給する。
【００３６】
また、プロファイラ処理部２１は、画像のフラット成分の強度（以下、フラット強度と称する）に基づく重み値であり、エンハンサ処理部２３が画像を合成する場合に用いる重み値を設定する。なお、フラット成分とは、画像内において画素値がほとんど変化しないフラット領域を構成する画素のことである。また、フラット強度とは、画像内の注目する領域におけるフラット成分の比率を反映した値であり、その領域における位置の変化に対する画素値の変化が小さいほどフラット強度は強くなり、画素値の変化が大きいほどフラット強度は弱くなる。プロファイラ処理部２１は、求めた重み値を示す情報をエンハンサ処理部２３に供給する。
【００３７】
さらに、プロファイラ処理部２１は、画像のテクスチャ成分の強度（以下、テクスチャ強度と称する）に基づく重み値であり、エンハンサ処理部２３が画像を合成する場合に用いる重み値を設定する。なお、テクスチャ成分とは、物体表面の模様など画素値がある程度変化し、フラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域を構成する画素のことである。また、テクスチャ強度は、画像内の注目する領域におけるテクスチャ成分の比率を反映した値であり、その領域における位置の変化に対する画素値の変化がある程度存在する場合、テクスチャ強度は強くなり、画素値の変化がその程度から離れるほどテクスチャ強度は弱くなる。プロファイラ処理部２１は、求めた重み値を示す情報をエンハンサ処理部２３に供給する。
【００３８】
また、プロファイラ処理部２１は、画像のエッジ成分の強度（以下、エッジ強度と称する）に基づく重み値であり、エンハンサ処理部２３が画像を合成する場合に用いる重み値を設定する。エッジ成分とは、画像のエッジおよびその周辺を構成する画素のことである。また、エッジ強度は、画像内の注目する領域におけるエッジ成分の比率を反映した値であり、その領域における位置の変化に対する画素値の変化が大きいほどエッジ強度は強くなり、画素値の変化が小さいほどエッジ強度は弱くなる。プロファイラ処理部２１は、求めた重み値を示す情報をエンハンサ処理部２３に供給する。
【００３９】
ダブラ処理部２２は、図１５などを参照して後述するように、外部から入力された画像の水平方向または垂直方向の解像度を２倍にするダブラ処理を行う。ダブラ処理部２２は、ダブラ処理を施した画像を画像蓄積部２５に供給する。
【００４０】
エンハンサ処理部２３は、図１６などを参照して後述するように、外部から入力された画像の画質を調整するエンハンサ処理を行う。エンハンサ処理部２３は、エンハンサ処理を施した画像を画像蓄積部２５に供給する。
【００４１】
縮小処理部２４は、所定の方法に基づいて、外部から入力された画像の解像度を下げることにより画像を縮小する。なお、画像を縮小する方法は、特定の方法に限定されるものではなく、例えば、縮小処理部２４は、バイキュービックフィルタを用いて画像を縮小する。縮小処理部２４は、縮小処理を施した画像を画像蓄積部２５に供給する。
【００４２】
画像蓄積部２５は、内部に記憶手段を有し、画像入力部１１、プロファイラ処理部２１、ダブラ処理部２２、エンハンサ処理部２３、または、縮小処理部２４から供給された画像を一時的に蓄積する。また、画像蓄積部２５は、必要に応じて、画像出力部１３、プロファイラ処理部２１、ダブラ処理部２２、エンハンサ処理部２３、または、縮小処理部２４に蓄積している画像を供給する。
【００４３】
画像出力部１３は、例えば、画像処理部１２から出力された画像を、図示せぬ表示部に表示させたり、記録媒体に記録させたり、または、伝送媒体を介して、他の装置に送信したりする。
【００４４】
図２は、プロファイラ処理部２１の構成の例を示すブロック図である。プロファイラ処理部２１は、方向検出部１０１、方向性分布生成部１０２、信頼度検出部１０３、信頼度分布生成部１０４、コントラスト計算部１０５、斜めコントラスト分布生成部１０６、フラットコントラスト分布生成部１０７、テクスチャコントラスト分布生成部１０８、エッジコントラスト分布生成部１０９、傾き選択部１１０、斜め重み付け設定部１１１、フラット強度情報生成部１１２、テクスチャ強度情報生成部１１３、および、エッジ強度情報生成部１１４を含むように構成される。
【００４５】
方向検出部１０１は、図７などを参照して後述するように、外部から入力された画像のエッジの方向を検出する。方向検出部１０１は、検出したエッジ方向を示すエッジ方向情報を、方向性分布生成部１０２および信頼度検出部１０３に供給する。
【００４６】
方向性分布生成部１０２は、図１１を参照して後述するように、方向検出部１０１により検出されたエッジ方向の分布を示す方向性分布を生成する。方向性分布生成部１０２は、生成した方向性分布を示す方向性分布情報を、傾き選択部１１０、斜め重み付け設定部１１１、フラット強度情報生成部１１２、テクスチャ強度情報生成部１１３、および、エッジ強度情報生成部１１４に供給する。
【００４７】
信頼度検出部１０３は、図７などを参照して後述するように、外部から入力された画像について、方向検出部１０１により検出されたエッジ方向の信頼度を検出する。信頼度検出部１０３は、検出した信頼度を示す信頼度情報を信頼度分布生成部１０４に供給する。
【００４８】
信頼度分布生成部１０４は、図１２を参照して後述するように、信頼度検出部１０３により検出された信頼度の分布を示す信頼度分布を生成する。信頼度分布生成部１０４は、生成した信頼度分布を示す信頼度分布情報を、傾き選択部１１０、斜め重み付け設定部１１１、フラット強度情報生成部１１２、テクスチャ強度情報生成部１１３、および、エッジ強度情報生成部１１４に供給する。
【００４９】
コントラスト計算部１０５は、図８を参照して後述するように、外部から入力された画像のコントラストの強さであるコントラスト強度を検出する。コントラスト計算部１０５は、検出したコントラスト強度を示すコントラスト情報を、斜めコントラスト分布生成部１０６、フラットコントラスト分布生成部１０７、テクスチャコントラスト分布生成部１０８、および、エッジコントラスト分布生成部１０９に供給する。
【００５０】
斜めコントラスト分布生成部１０６は、図１３および図１４を参照して後述するように、コントラスト強度に基づく重み値の１つであるweight_contrast_Sを設定する。斜めコントラスト分布生成部１０６は、weight_contrast_Sの分布を示すコントラスト分布を生成する。斜めコントラスト分布生成部１０６は、生成したコントラスト分布を示すコントラスト分布情報を、傾き選択部１１０、斜め重み付け設定部１１１、および、ダブラ処理部２２に供給する。
【００５１】
フラットコントラスト分布生成部１０７は、図１３および図１４を参照して後述するように、コントラスト強度に基づく重み値の１つであるweight_contrast_Fを設定する。フラットコントラスト分布生成部１０７は、weight_contrast_Fの分布を示すコントラスト分布を生成する。フラットコントラスト分布生成部１０７は、生成したコントラスト分布を示すコントラスト分布情報を、フラット強度情報生成部１１２に供給する。
【００５２】
テクスチャコントラスト分布生成部１０８は、図１３および図１４を参照して後述するように、コントラスト強度に基づく重み値の１つであるweight_contrast_Tを設定する。テクスチャコントラスト分布生成部１０８は、weight_contrast_Tの分布を示すコントラスト分布を生成する。テクスチャコントラスト分布生成部１０８は、生成したコントラスト分布を示すコントラスト分布情報を、テクスチャ強度情報生成部１１３に供給する。
【００５３】
エッジコントラスト分布生成部１０９は、図１３および図１４を参照して後述するように、コントラスト強度に基づく重み値の１つであるweight_contrast_Eを設定する。エッジコントラスト分布生成部１０８は、weight_contrast_Eの分布を示すコントラスト分布を生成する。エッジコントラスト分布生成部１０９は、生成したコントラスト分布を示すコントラスト分布情報を、エッジ強度情報生成部１１４に供給する。
【００５４】
なお、以下、weight_contrast_S，weight_contrast_F，weight_contrast_T，およびweight_contrast_Eをまとめて、コントラスト重み値ともいう。
【００５５】
傾き選択部１１０は、図８を参照して後述するように、方向性分布、信頼度分布、および、weight_contrast_Sに基づいて、注目する画素の補間に用いる画素を選択する方向を選択する。傾き選択部１１０は、選択結果を示す傾き選択情報をダブラ処理部２２に供給する。
【００５６】
斜め重み付け設定部１１１は、図８を参照して後述するように、方向性分布、信頼度分布、および、weight_contrast_Sに基づいて、プロファイラ処理部２１に入力された画像のエッジの傾きの顕著性に基づく重み値であるweight_slantを設定する。斜め重み付け設定部１１１は、weight_slantを示す斜め重み付け情報をダブラ処理部２２に供給する。
【００５７】
フラット強度情報生成部１１２は、図８を参照して後述するように、方向性分布、信頼度分布、および、weight_contrast_Fに基づいて、プロファイラ処理部２１に入力された画像のフラット強度に基づく重み値であるweight_flatを設定する。フラット強度情報生成部１１２は、weight_flatを示すフラット強度情報をエンハンサ処理部２３に供給する。
【００５８】
テクスチャ強度情報生成部１１３は、図８を参照して後述するように、方向性分布、信頼度分布、および、weight_contrast_Tに基づいて、プロファイラ処理部２１に入力された画像のテクスチャ強度に基づく重み値であるweight_textureを設定する。テクスチャ強度情報生成部１１３は、weight_textureを示すテクスチャ強度情報をエンハンサ処理部２３に供給する。
【００５９】
エッジ強度情報生成部１１４は、図８を参照して後述するように、方向性分布、信頼度分布、および、weight_contrast_Eに基づいて、プロファイラ処理部２１に入力された画像のエッジ強度に基づく重み値であるweight_edgeを設定する。エッジ強度情報生成部１１４は、weight_edgeを示すエッジ強度情報をエンハンサ処理部２３に供給する。
【００６０】
図３は、ダブラ処理部２２の構成の例を示すブロック図である。ダブラ処理部２２は、線形補間部１５１、統計傾斜補間部１５２、および、斜め合成部１５３を含むように構成される。
【００６１】
線形補間部１５１は、図１５を参照して後述するように、外部から入力される画像に対して、線形補間を施す。線形補間部１５１は、線形補間を施した画像（以下、線形補間画像と称する）を斜め合成部１５３に供給する。なお、以下、線形補間画像を構成する画素を線形補間画素と称する。
【００６２】
統計傾斜補間部１５２は、斜めコントラスト分布生成部１０６からコントラスト分布情報を取得する。また、統計傾斜補間部１５２は、傾き選択部１１０から傾き選択情報を取得する。統計傾斜補間部１５２は、図１５を参照して後述するように、外部から入力される画像に対して、統計傾斜補間を施す。統計傾斜補間部１５２は、統計傾斜補間を施した画像（以下、統計傾斜補間画像と称する）を斜め合成部１５３に供給する。なお、以下、統計傾斜補間画像を構成する画素を統計傾斜補間画素と称する。
【００６３】
斜め合成部１５３は、斜め重み付け設定部１１１から斜め重み付け情報を取得する。斜め合成部１５３は、図１６を参照して後述するように、線形補間部１５１から供給される線形補間画像と統計傾斜補間部１５２から供給される統計傾斜補間画像との対応する位置にある画素の画素値を、斜め重み付け情報に示されるweight_slantに基づく重みをつけて加算することにより、２つの画像を合成する。斜め合成部１５３は、合成した画像（以下、斜め合成画像と称する）を画像蓄積部２５に供給する。なお、以下、斜め合成画像を構成する画素を斜め合成画素と称する。
【００６４】
図４は、エンハンサ処理部２３の構成の例を示すブロック図である。エンハンサ処理部２３は、フラットフィルタ処理部２０１、フラット適応混合処理部２０２、テクスチャフィルタ処理部２０３、テクスチャ適応混合処理部２０４、エッジフィルタ処理部２０５、および、エッジ適応混合処理部２０６を含むように構成される。
【００６５】
フラットフィルタ処理部２０１は、図１６を参照して後述するように、外部から入力される画像の各画素に対して、主にフラット領域に対する処理を目的としたフラットフィルタ処理を施す。フラットフィルタ処理部２０１は、フラットフィルタ処理が施された画素（以下、フラット画素と称する）からなる画像（以下、フラット画像と称する）をフラット適応混合処理部２０２に供給する。
【００６６】
フラット適応混合処理部２０２は、図１６を参照して後述するように、外部から入力される画像とフラットフィルタ処理部２０１から供給されるフラット画像との対応する位置にある画素の画素値を、フラット強度情報に示されるweight_flatに基づく重みをつけて加算することにより、２つの画像を合成する。フラット適応混合処理部２０２は、合成した画像（以下、フラット混合画像と称する）をテクスチャ適応混合処理部２０４に供給する。なお、以下、フラット混合画像を構成する画素をフラット混合画素と称する。
【００６７】
テクスチャフィルタ処理部２０３は、図１７などを参照して後述するように、外部から入力される画像に対して、主にテクスチャ領域に対する処理を目的としたテクスチャフィルタ処理を施す。テクスチャフィルタ処理部２０３は、テクスチャフィルタ処理が施された画素（以下、テクスチャ画素と称する）からなる画像（以下、テクスチャ画像と称する）をテクスチャ適応混合処理部２０４に供給する。
【００６８】
テクスチャ適応混合処理部２０４は、図１６を参照して後述するように、フラット適応混合処理部２０２から供給されるフラット混合画像とテクスチャフィルタ処理部２０３から供給されるテクスチャ画像との対応する位置にある画素の画素値を、テクスチャ強度情報に示されるweight_textureに基づく重みをつけて加算することにより、２つの画像を合成する。テクスチャ適応混合処理部２０４は、合成した画像（以下、テクスチャ混合画像と称する）をテクスチャ適応混合処理部２０４に供給する。なお、以下、テクスチャ混合画像を構成する画素をテクスチャ混合画素と称する。
【００６９】
エッジフィルタ処理部２０５は、図１７などを参照して後述するように、外部から入力される画像に対して、主にエッジ領域に対する処理を目的としたエッジフィルタ処理を施す。エッジフィルタ処理部２０５は、エッジフィルタ処理が施された画素（以下、エッジ画素と称する）からなる画像（以下、エッジ画像と称する）をエッジ適応混合処理部２０６に供給する。
【００７０】
エッジ適応混合処理部２０６は、図１６を参照して後述するように、テクスチャ適応混合処理部２０４から供給されるテクスチャ混合画像とエッジフィルタ処理部２０５から供給されるエッジ画像との対応する位置にある画素の画素値を、エッジ強度情報に示されるweight_edgeに基づく重みをつけて加算することにより、２つの画像を合成する。エッジ適応混合処理部２０6は、合成した画像（以下、エッジ混合画像と称する）を画像蓄積部２４に供給する。
【００７１】
次に、図５乃至図１８を参照して、画像処理装置１により実行される処理を説明する。
【００７２】
まず、図５のフローチャートを参照して、画像処理装置１により実行される画像変倍処理を説明する。なお、この処理は、例えば、ユーザが、画像処理装置１の図示せぬ操作部を操作することにより、画像入力部１１から画像処理部１２に画像（入力画像）が入力され、入力画像の変倍を指令したとき開始される。なお、入力画像は、画像蓄積部２５に供給され、一時的に蓄積される。
【００７３】
ステップＳ１において、画像処理部１２は、変数ｚに、倍率Zを設定する。なお、倍率Zは、入力画像を拡大または縮小する倍率であり、例えば、ユーザにより図示せぬ操作部を介して入力される。なお、倍率Zは、0より大きな値とされる。
【００７４】
ステップＳ２において、画像処理部１２は、変数ｚが１より大きいか否かを判定する。変数ｚが１より大きいと判定された場合、処理はステップＳ３に進む。
【００７５】
ステップＳ３において、画像処理部１２は、倍密化処理を行う。倍密化処理の詳細は図６を参照して後述するが、この処理により、画像蓄積部２５に蓄積されている画像の解像度が垂直方向および水平方向ともに２倍にされる。なお、垂直方向および水平方向の解像度が２倍にされた画像は、画像蓄積部２５に一時的に蓄積される。
【００７６】
ステップＳ４において、画像処理部１２は、変数ｚの値を現在の値の２分の１に設定する。
【００７７】
その後、処理はステップＳ２に戻り、ステップＳ２において、変数ｚが１以下であると判定されるまで、ステップＳ２乃至Ｓ４の処理が繰返し実行される。すなわち、画像蓄積部２５に蓄積されている画像の垂直方向および水平方向の解像度を２倍にする処理が繰り返される。
【００７８】
ステップＳ２において、変数ｚが１以下であると判定された場合、すなわち、ユーザにより入力された倍率Ｚが１以下である場合、または、ステップＳ４の処理により変数ｚの値が１以下になった場合、処理はステップＳ５に進む。
【００７９】
ステップＳ５において、画像処理部１２は、変数ｚが0より大きく、かつ、1より小さいか否かを判定する。変数ｚが0より大きく、かつ、1より小さいと判定された場合、処理はステップＳ６に進む。
【００８０】
ステップＳ６において、縮小処理部２４は、縮小処理を行う。具体的には、画像蓄積部２５は、内部に蓄積されている画像を縮小処理部２４に供給する。縮小処理部２４は、取得した画像を、所定の方法に基づいて、変数ｚにより示される倍率に縮小する。縮小処理部２４は、縮小処理を施した画像を画像蓄積部２５に供給する。画像蓄積部２５は、取得した画像を一時的に蓄積する。
【００８１】
ステップＳ５において、変数ｚが１であると判定された場合、すなわち、ユーザにより入力された倍率Ｚが１である場合、または、ステップＳ４の処理により変数ｚが１になった場合、ステップＳ６の処理はスキップされ、処理はステップＳ７に進む。
【００８２】
ステップＳ７において、画像出力部１３は、出力表示処理を行い、画像変倍処理は終了する。具体的には、画像蓄積部２５は、内部に蓄積されている画像を画像出力部１３に供給する。画像出力部１３は、取得した画像を図示せぬ表示部に供給し、供給した画像を表示させる。
【００８３】
次に、図６のフローチャートを参照して、図５のステップＳ３の倍密化処理の詳細を説明する。
【００８４】
ステップＳ２１において、プロファイラ処理部２１は、プロファイラ処理を行う。ここで、図７および図８のフローチャートを参照して、プロファイラ処理の詳細を説明する。
【００８５】
ステップＳ５１において、画像蓄積部２５は、画像を供給する。具体的には、画像蓄積部２５は、倍密化処理を行う画像を、プロファイラ処理部２１の方向検出部１０１、信頼度検出部１０３、および、コントラスト計算部１０５に供給する。
【００８６】
ステップＳ５２において、プロファイラ処理部２１は、注目画素および注目領域を設定する。具体的には、プロファイラ処理部２１は、画像蓄積部２５から取得した画像に補間することにより加えられる画素（以下、補間画素とも称する）のうち、まだプロファイラ処理を行っていない補間画素を１つ選択し、注目画素に設定する。また、プロファイラ処理部２１は、注目画素を中心とする所定の範囲（縦Mt×横Nt画素）の領域を注目領域に設定する。なお、MtおよびNtは可変とされる。
【００８７】
図９は、注目画素と注目領域の例を示す図である。図９において、白丸は注目画素を表し、黒丸は注目画素以外の補間画素を表し、内部に斜線が描かれた丸は、補間前の画像（以下、原画像とも称する）に元々存在する画素（以下、実在画素と称する）を表す。また、水平方向の実線は、実在画素からなる水平方向の行（以下、実在行と称する）を示し、水平方向の点線は、補間画素からなる水平方向の行（以下、補間行と称する）を示す。また、図内の太い枠線で囲まれた領域Rtは、注目領域を示す。なお、図９には、注目画素を中心とする縦5（Mt＝5）×横5（Nt＝5）画素の注目領域の例が示されている。以下、適宜、Mt＝5およびNt＝5とした場合を例に挙げて説明する。
【００８８】
なお、以下、画像処理装置１により処理される各画像において、水平方向（横方向）をx軸方向とし、垂直方向（縦方向）をy軸方向とする。また、x軸方向において右方向を正の方向とし、y軸方向において左方向を正の方向とする。また、注目領域の左上隅の補間画素の座標を(xt0,yt0)とする。
【００８９】
ステップＳ５３において、方向検出部１０１は、エッジ方向検出領域を設定する。具体的には、まず、プロファイラ処理部２１は、注目領域内の補間画素のうち、まだエッジ方向を検出していない補間画素を１つ選択する。なお、以下、このとき選択された（注目する）補間画素をエッジ方向検出画素と称する。
【００９０】
方向検出部１０１は、エッジ方向検出画素の上側に隣接する実在行から、エッジ方向検出画素の上側に隣接する画素を中心とするNd個の画素（実在画素）を抽出し、エッジ方向検出画素の下側に隣接する実在行から、エッジ方向検出画素の下側に隣接する画素を中心とするNd個の画素（実在画素）を抽出する。なお、Ndは可変とされ、以下、適宜、Nd＝5とした場合を例に挙げて説明する。
【００９１】
方向検出部１０１は、抽出した実在画素の水平方向の各画素間について、１つずつ仮想の画素（以下、バーチャル画素と称する）を生成し、対応する画素間に挿入する。なお、バーチャル画素の画素値は、そのバーチャル画素の左右に隣接する２つの実在画素の画素値の平均値とされる。なお、エッジ方向検出画素、抽出された実在画素、および、実在画素の間に挿入されたバーチャル画素により構成される領域が、エッジ方向検出領域である。
【００９２】
図１０は、Nd＝5とした場合のエッジ方向検出領域の各画素の位置関係を示す図である。図内の黒丸はエッジ方向検出画素を表し、内部に斜線が描かれた丸は実在画素を表し、点線の丸はバーチャル画素を表す。図１０のエッジ方向検出領域において、エッジ方向検出画素に隣接する上の行および下の行には、原画像から抽出された５個の実在画素、および、実在画素間に挿入されたバーチャル画素がそれぞれ配置される。
【００９３】
なお、以下、エッジ方向検出画素に隣接する上の行の各画素をPu(i)（i＝0，1，2，…，2Nd-2)とし、下の行の各画素をPd(i)（i＝0，1，2，…，2Nd-2)とする。ただし、各行の左端の画素をPu(0)およびPd(0)とし、右端の画素をPu(2Nd-2)およびPd(2Nd-2)とする。なお、図１０においては、Nd=5とした例が示されているので、各行の右端の画素は、Pu(8)およびPd(8)となる。また、以下、画素Pu(i)の画素値もPu(i)で表し、画素Pd(i)の画素値もPd(i)で表す。
【００９４】
また、以下、エッジ方向検出領域において、エッジ方向検出画素を中心とする対角方向に存在する画素間を通る方向をLdir（dir＝0，1，2，…，2Nd-2)とする。なお、変数dirは、各方向を識別するための番号である。例えば、図１０に示される例においては、エッジ方向検出画素を中心に画素Pu(0)と画素Pd(8)を通る方向L0に対するdirは0であり、エッジ方向検出画素を中心に画素Pu(1)と画素Pd(7)を通る方向L1に対するdirは1であり、以下同様に、dirは0から8までの値をとる。さらに、以下、実在画素間を通る方向を実在方向といい、バーチャル画素間を通る方向をバーチャル方向という。図１０の例においては、方向L0，L2，L4，L6，およびL8が実在方向であり、方向L1，L3，L5，および、L7がバーチャル方向である。
【００９５】
また、方向検出部１０１は、エッジ方向検出領域の各画素Pu(i)およびPd(i)について、平滑化処理を施した画素値（以下、平滑化画素値とも称する）Pu'(i)（i＝1，2，…，2Nd-2)およびPd'(i)（i＝1，2，…，2Nd-2)を求める。具体的には、方向検出部１０１は、エッジ方向検出領域内の画素のうち実在画素に対応する平滑化画素値Pu'(i)およびPd'(i)を、図示せぬLPF（Low Pass Filter）などを用いて帯域制限することにより原画像を平滑化した画像（以下、平滑化画像と称する）の対応する位置にある画素の画素値に設定する。また、方向検出部１０１は、エッジ方向検出領域内の画素のうちバーチャル画素に対応する平滑化画素値Pu'(i)およびPd'(i)を、その画素の左右に隣接する実在画素に対応する平滑化画素値の平均値に設定する。
【００９６】
ステップＳ５４において、方向検出部１０１は、局所エネルギを計算する。具体的には、方向検出部１０１は、エッジ方向検出領域の局所エネルギELを、以下の式（１）に基づいて算出する。
【００９７】
EL＝Σ(i=0,…Nd-1){Coef_EL(i)×|Pu'(2i)−Pd'(2i)|}    ・・・（１）
【００９８】
すなわち、局所エネルギELは、エッジ方向検出領域内の上下方向に隣接する実在画素間について、対応する平滑化画素値の差分の絶対値を求め、求めた絶対値に所定の重み（Coef_EL(i)）を乗じ、さらに、重みを乗じた値を合計することにより求められる。
【００９９】
ステップＳ５５において、方向検出部１０１は、局所エネルギが所定の閾値より大きいか否かを判定する。局所エネルギELが予め設定されている所定の閾値より大きいと判定された場合、処理はステップＳ５６に進む。
【０１００】
ステップＳ５６において、方向検出部１０１は、エッジ方向を検出する。具体的には、まず、方向検出部１０１は、dirの値を0から2Nd-2になるまで１つずつインクリメントしながら、以下の式（２），式（３）に示される演算を繰り返し実行する。
【０１０１】
E(dir)＝|Pu'(dir)−Pd'(2N-2-dir)|    ・・・（２）
diff(dir)＝|(Pu(dir)−Pd(2N-2-dir)|    ・・・（３）
【０１０２】
次に、方向検出部１０１は、エネルギＥ(dir)が最も高く（大きく）なる方向に対応するdirであるmax_dirを求める。
【０１０３】
また、方向検出部１０１は、注目画素を中心とする垂直方向、および、垂直方向より左に傾いた（左上がりの）方向のうち、エネルギE(dir)が最も低くなる方向に対応するdirであるleft_dirを求める。例えば、図１０の例において、方向L0乃至L4のうち、エネルギE(dir)が最も低くなる方向のdirが、left_dirとなる。
【０１０４】
さらに、方向検出部１０１は、注目画素を中心とする垂直方向、および、垂直方向より右に傾いた（右上がりの）方向のうち、エネルギE(dir)が最も低くなる方向に対応するdirであるright_dirを求める。例えば、図９の例において、方向L4乃至L8のうち、エネルギE(dir)が最も低くなる方向のdirが、right_dirとなる。
【０１０５】
なお、以下、エッジ方向検出画素を中心とする垂直方向に対応するdirをmid_dirとする。例えば、図１０に示される例の場合、方向L4に対応するdirがmid_dirとなる。また、以下、dir、max_dir、left_dir、right_dir、および、mid_dirに対応する方向を、それぞれ、方向dir、方向max_dir、方向left_dir、方向right_dir、および、方向mid_dirという。
【０１０６】
次に、方向検出部１０１は、注目画素におけるエッジ方向sel_dirを求める。具体的には、方向検出部１０１は、方向max_dirと方向left_dirとの間の角度を角度(max_dir,left_dir)とし、方向max_dirと方向right_dirとの間の角度を角度(max_dir,right_dir)とした場合、以下の条件式（４）乃至（６）のうちいずれかが成立する場合、sel_dir＝left_dirとする。
【０１０７】
｜角度(max_dir,left_dir)｜＞｜角度(max_dir,right_dir)｜    ・・・（４）
【０１０８】
(｜角度(max_dir,left_dir)｜＝｜角度(max_dir,right_dir)｜)
∧(角度(max_dir,mid_dir)＞0)                                    ・・・（５）
【０１０９】
(｜角度(max_dir,left_dir)｜＝｜角度(max_dir,right_dir)｜)
∧(角度(max_dir,mid_dir)＝0)
∧(E(right_dir)＞E(left_dir))                                  ・・・（６）
【０１１０】
また、方向検出部１０１は、以下の条件式（７）乃至（９）のうちいずれかが成立する場合、sel_dir＝right_dirとする。
【０１１１】
｜角度(max_dir,left_dir)｜＜｜角度(max_dir,right_dir)｜    ・・・（７）
【０１１２】
(｜角度(max_dir,left_dir)｜＝｜角度(max_dir,right_dir)｜)
∧(角度(max_dir,mid_dir)＜0)                                    ・・・（８）
【０１１３】
(｜角度(max_dir,left_dir)｜＝｜角度(max_dir,right_dir)｜)
∧(角度(max_dir,mid_dir)＝0)
∧(E(right_dir)＜E(left_dir))                                  ・・・（９）
【０１１４】
以上の条件式（４）乃至（９）が全て成立しない場合、方向検出部１０１は、sel_dir＝mid_dirとする。
【０１１５】
なお、方向検出部１０１は、エッジ方向sel_dirがバーチャル方向となった場合、以下の条件式（１０）が成立するとき、sel_dir＝sel_dir+1とする。
【０１１６】
(E(sel_dir+1)＜E(sel_dir-1))
∧(diff(sel_dir+1)＜diff(sel_dir-1))
∧(sel_dir+1≠mid_dir)                                      ・・・（１０）
【０１１７】
また、方向検出部１０１は、エッジ方向sel_dirがバーチャル方向となった場合、以下の条件式（１１）が成立するとき、sel_dir＝sel_dir-1とする。
【０１１８】
(E(sel_dir+1)＞E(sel_dir-1))
∧(diff(sel_dir+1)＞diff(sel_dir-1))
∧(sel_dir-1≠mid_dir)                                        ・・・（１１）
【０１１９】
方向検出部１０１は、局所エネルギELが所定の閾値を超えていること、および、エッジ方向sel_dirを示すエッジ方向情報を方向性分布生成部１０２、および、信頼度検出部１０３に供給する。
【０１２０】
ステップＳ５７において、信頼度検出部１０３は、エッジ方向の信頼度を検出する。具体的には、まず、信頼度検出部１０３は、エッジ方向検出画素に対応する画素値として、エッジ方向検出領域内のエッジ方向検出画素を中心とするエッジ方向sel_dirに位置する２つの画素（上行の画素と下行の画素）の画素値の平均値を求める。以下、求めた画素値をPpとする。
【０１２１】
次に、信頼度検出部１０３は、エッジ方向検出画素に対して求めた画素値Ppと、エッジ方向検出画素の近傍の画素の画素値との間に整合性があるか否かを判定する。具体的には、まず、信頼度検出部１０３は、以下の式（１２）に基づいて、エッジ方向検出画素の上下方向の画素値の変化を表す値Vvを計算する。
【０１２２】
Vv=(Pu(Nd-1)−Pp)×(Pp−Pd(Nd-1))                      ・・・（１２）
【０１２３】
次に、信頼度検出部１０３は、以下の式（１３）に基づいて、エッジ方向検出画素の上行の水平方向の画素値の変化を表す値Vh_upを計算する。
【０１２４】
Vh_up＝(Pu(Nd-1)−Pu(Nd))×(Pu(Nd-2)−Pu(Nd-1))        ・・・（１３）
【０１２５】
次に、信頼度検出部１０３は、以下の式（１４）に基づいて、エッジ方向検出画素の下行の水平方向の画素値の変化を表す値Vh_downを計算する。
【０１２６】
Vh_down＝(Pd(Nd-1)−Pd(Nd))×(Pd(Nd-2)−Pd(Nd-1))      ・・・（１４）
【０１２７】
次に、信頼度検出部１０３は、以下の条件式（１５）乃至（２３）が全て成立する場合、画素値Ppとエッジ方向検出画素の近傍の画素の画素値との間に整合性がないと判定する。すなわち、信頼度検出部１０３は、検出したエッジ方向sel_dirの信頼度が低く、エッジ方向sel_dirに基づいて算出した画素値Ppが適切でないと判定する。この場合、信頼度検出部１０３は、エッジ方向検出画素において検出されたエッジ方向の信頼度を0に設定する。
【０１２８】
Vv＜0    ・・・（１５）
Vh_up＜0    ・・・（１６）
Vh_down＜0    ・・・（１７）
｜Pu(Nd-1)−Pp|＞Tc1    ・・・（１８）
｜Pp−Pd(Nd-1)|＞Tc2    ・・・（１９）
｜Pu(Nd-1)−Pu(Nd)｜＞Tc3    ・・・（２０）
｜Pu(Nd-2)−Pu(Nd-1)｜＞Tc4    ・・・（２１）
｜Pd(Nd-1)−Pd(Nd)｜＞Tc5    ・・・（２２）
｜Pd(Nd-2)−Pd(Nd-1)｜＞Tc6    ・・・（２３）
なお、Tc1乃至Tc6は、所定の閾値である。
【０１２９】
これに対して、信頼度検出部１０３は、条件式（１５）乃至（２３）のうち一つでも成立しない条件式がある場合、画素値Ppとエッジ方向検出画素の近傍の画素の画素値との間に整合性があると判定する。すなわち、信頼度検出部１０３は、検出したエッジ方向sel_dirの信頼度が高く、エッジ方向sel_dirに基づいて算出した画素値Ppが適切であると判定する。この場合、信頼度検出部１０３は、エッジ方向検出画素において検出されたエッジ方向の信頼度を1に設定する。
【０１３０】
すなわち、エッジ方向の信頼度は、エッジ方向検出画素を中心とするエッジ方向sel_dirにある画素を用いて算出した画素値と、エッジ方向検出画素の近傍の画素の画素値との整合性に基づいて検出される。
【０１３１】
信頼度検出部１０３は、設定した信頼度を示す信頼度情報を信頼度分布生成部１０４に供給する。その後、処理はステップＳ６０に進む。
【０１３２】
なお、以下、座標(x,y)の補間画素のエッジの方向の信頼度を信頼度(x,y)と表す。
【０１３３】
ステップＳ５５において、局所エネルギELが所定の閾値以下であると判定された場合、処理はステップＳ５８に進む。
【０１３４】
ステップＳ５８において、方向検出部１０１は、エッジ方向を暫定的に設定する。具体的には、方向検出部１０１は、現在のエッジ方向検出領域をエッジを含まない平坦な低エネルギの領域であると見なし、エッジ方向sel_dirをmid_dirに暫定的に設定する。方向検出部１０１は、局所エネルギELが所定の閾値以下であること、および、エッジ方向sel_dirを示すエッジ方向情報を方向性分布生成部１０２、および、信頼度検出部１０３に供給する。
【０１３５】
ステップＳ５９において、信頼度検出部１０３は、信頼度を暫定的に設定する。具体的には、信頼度検出部１０３は、現在のエッジ方向検出画素におけるエッジ方向の信頼度を、信頼度が未確定であることを示す2に設定する。信頼度検出部１０３は、設定した信頼度を示す信頼度情報を信頼度分布生成部１０４に出力する。
【０１３６】
ステップＳ６０において、コントラスト計算部１０５は、コントラスト強度を検出する。具体的には、コントラスト計算部１０５は、エッジ方向検出画素を中心とする原画像の縦Mc×横Nc画素の範囲の領域（以下、コントラスト検出領域と称する）内の画素を抽出する。なお、McおよびNcの値は可変とされる。また、以下、コントラスト検出領域における座標系を、横方向をi方向、縦方向j方向とし、左上隅の画素の座標を(0,0)とする座標系とする。
【０１３７】
コントラスト計算部１０５は、エッジ方向検出画素におけるコントラスト強度を、以下の式（２４）に基づいて計算する。
【０１３８】
コントラスト強度(x,y)
＝Σi1=0…Nc-1Σj1=0…Mc-1Σi2=0…Nc-1Σj2=0…Mc-1
{Coef_Contrast(i1-i2,j1-j2)×|Porg(i1,j1)−Porg(i2,j2)|}      ・・・（２４）
【０１３９】
なお、コントラスト強度(x,y)は、補間後の画像における座標(x,y)のエッジ方向検出画素のコントラスト強度を示す。また、Porg(i1,j1)およびPorg(i2,j2)は、それぞれ、座標(i1,j1)の画素の画素値および座標(i2,j2)の画素の画素値を表す。また、Coef_Contrast(i1-i2,j1-j2)は、座標(i1,j1)と座標(i2,j2)の間の距離に比例した重みであり、距離が近いほど大きくなり、距離が遠いほど小さくなる。すなわち、エッジ方向検出画素におけるコントラスト強度は、エッジ方向検出画素を中心とするコントラスト検出領域内の各画素間の画素値の差分の絶対値に画素間の距離に応じた重みを乗じた値の合計値である。
【０１４０】
コントラスト計算部１０５は、コントラスト強度を示すコントラスト情報を、斜めコントラスト分布生成部１０６、フラットコントラスト分布生成部１０７、テクスチャコントラスト分布生成部１０８、および、エッジコントラスト分布生成部１０９に供給する。
【０１４１】
ステップＳ６１において、プロファイラ処理部２１は、注目領域内の全ての補間画素について処理したか否かを判定する。まだ、注目領域内の全ての補間画素について処理されていないと判定された場合、すなわち、まだ注目領域内の全ての補間画素について、エッジ方向およびその信頼度、並びに、コントラスト強度の検出が行われていない場合、処理はステップＳ５３に戻る。その後、ステップＳ６１において、注目領域内の全ての補間画素について処理したと判定されるまで、ステップＳ５３乃至Ｓ６１の処理が繰返し実行され、注目領域内の全ての補間画素について、エッジ方向およびその信頼度、並びに、コントラスト強度が検出される。
【０１４２】
ステップＳ６１において、注目領域内の全ての補間画素について処理したと判定された場合、処理はステップＳ６２に進む。
【０１４３】
ステップＳ６２において、方向性分布生成部１０２は、方向性分布を生成する。具体的には、方向性分布生成部１０２は、方向検出部１０１から供給されたエッジ方向情報に基づいて、注目領域内の各補間画素におけるエッジ方向の分布を示す方向性分布を生成する。図１１は、図９の注目領域における方向性分布の例を示す図である。図１１の例においては、注目領域内のいちばん上の補間行の補間画素におけるエッジ方向に対応するdirが、左から４，４，８，８，８であり、中央の補間行の補間画素におけるエッジ方向に対応するdirが、左から８，７，８，７，８であり、いちばん下の補間行の補間画素におけるエッジ方向に対応するdirが、左から８，８，８，４，４であることが示されている。
【０１４４】
方向性分布生成部１０２は、生成した方向性分布を示す方向性分布情報を、傾き選択部１１０、斜め重み付け設定部１１１、フラット強度情報生成部１１２、テクスチャ強度情報生成部１１３、および、エッジ強度情報生成部１１４に供給する。
【０１４５】
ステップＳ６３において、信頼度分布生成部１０４は、信頼度分布を生成する。具体的には、信頼度分布生成部１０４は、信頼度検出部１０３から供給された信頼度情報に基づいて、注目領域内の各補間画素における信頼度の分布を示す信頼度分布を生成する。図１２は、図９の注目領域における信頼度分布の例を示す図である。図１２の例においては、注目領域内のいちばん上の補間行の補間画素における信頼度が、左から２，２，１，１，１であり、中央の補間行の補間画素における信頼度が、左から１，１，０，１，１であり、いちばん下の補間行の補間画素における信頼度が、左から１，１，１，２，２であることが示されている。
【０１４６】
信頼度分布生成部１０４は、生成した信頼度分布を示す信頼度分布情報を、傾き選択部１１０、斜め重み付け設定部１１１、フラット強度情報生成部１１２、テクスチャ強度情報生成部１１３、および、エッジ強度情報生成部１１４に供給する。
【０１４７】
ステップＳ６４において、斜めコントラスト分布生成部１０６は、画像補間用のコントラスト分布を生成する。具体的には、斜めコントラスト分布生成部１０６は、以下の式（２５）に基づいて、注目領域内の各補間画素におけるweight_contrast_Sを求める。
【０１４８】
【数１】
0004710635.tif 000002
【０１４９】
なお、weight_contrast_S(x,y)は、座標(x,y)の補間画素におけるweight_contrast_Sを示す。また、Ts1およびTs2は閾値である。なお、閾値Ts1およびTs2は可変とされる。
【０１５０】
斜めコントラスト分布生成部１０６は、注目領域内の各補間画素におけるweight_contrast_Sの分布を示すコントラスト分布を生成する。図１３は、図９の注目領域におけるweight_contrast_Sについてのコントラスト分布の例を示す図である。図１３の例においては、注目領域内のいちばん上の補間行の補間画素におけるweight_contrast_Sは、左から0.0，0.0，0.3，0.8，1.0であり、中央の補間行の補間画素におけるweight_contrast_Sは、左から1.0，0.7，0.0，0.0，0.7であり、いちばん下の補間行の補間画素におけるweight_contrast_Sは、左から1.0，1.0，0.0，0.0，0.5であることが示されている。斜めコントラスト分布生成部１０６は、weight_contrast_Sのコントラスト分布を示すコントラスト分布情報を、傾き選択部１１０、斜め重み付け設定部１１１、および、ダブラ処理部２２の統計傾斜補間部１５２に供給する。
【０１５１】
ステップＳ６５において、フラットコントラスト分布生成部１０７は、フラット成分に対応するコントラスト分布を生成する。具体的には、フラットコントラスト分布生成部１０７は、以下の式（２６）に基づいて、注目領域内の各補間画素におけるweight_contrast_Fを求める。
【０１５２】
【数２】
0004710635.tif 000003
【０１５３】
なお、weight_contrast_F(x,y)は、座標(x,y)の補間画素におけるweight_contrast_Fを示す。また、Tf1，Tf2は閾値である。なお、閾値Tf1，Tf2は可変とされる。
【０１５４】
フラットコントラスト分布生成部１０７は、注目領域内の各補間画素におけるweight_contrast_Fの分布を示すコントラスト分布を生成する。フラットコントラスト分布生成部１０７は、weight_contrast_Fのコントラスト分布を示すコントラスト分布情報を、フラット強度情報生成部１１２に供給する。
【０１５５】
ステップＳ６６において、テクスチャコントラスト分布生成部１０８は、テクスチャ成分に対応するコントラスト分布を生成する。具体的には、テクスチャコントラスト分布生成部１０８は、以下の式（２７）に基づいて、注目領域内の各補間画素におけるweight_contrast_Tを求める。
【０１５６】
【数３】
0004710635.tif 000004
【０１５７】
なお、weight_contrast_T(x,y)は、座標(x,y)の補間画素におけるweight_contrast_Tを示す。また、Tt1乃至Tt4は閾値である。なお、閾値Tt1乃至Tt4は可変とされる。
【０１５８】
テクスチャコントラスト分布生成部１０８は、注目領域内の各補間画素におけるweight_contrast_Tの分布を示すコントラスト分布を生成する。テクスチャコントラスト分布生成部１０７は、weight_contrast_Tのコントラスト分布を示すコントラスト分布情報を、テクスチャ強度情報生成部１１３に供給する。
【０１５９】
ステップＳ６７において、エッジコントラスト分布生成部１０９は、エッジ成分に対応するコントラスト分布を生成する。具体的には、エッジコントラスト分布生成部１０９は、以下の式（２８）に基づいて、注目領域内の各補間画素におけるweight_contrast_Eを求める。
【０１６０】
【数４】
0004710635.tif 000005
【０１６１】
なお、weight_contrast_E(x,y)は、座標(x,y)の補間画素におけるweight_contrast_Eを示す。また、Te1，Te2は閾値である。なお、閾値Te1，Te2は可変とされる。
【０１６２】
エッジコントラスト分布生成部１０９は、注目領域内の各補間画素におけるweight_contrast_Eの分布を示すコントラスト分布を生成する。エッジコントラスト分布生成部１０９は、weight_contrast_Eのコントラスト分布を示すコントラスト分布情報を、テクスチャ強度情報生成部１１３に供給する。
【０１６３】
図１４は、コントラスト強度と各コントラスト重み値の関係を示すグラフであり、横軸は、コントラスト強度を示し、縦軸はコントラスト重み値を示す。
【０１６４】
図１４の線Leは、コントラスト強度と、weight_contrast_Sおよびweight_contrast_Eとの関係を示している。すなわち、閾値Ts1＝閾値Te1および閾値Ts2＝閾値Te2である場合の例を示している。weight_contrast_Sは、コントラスト強度(＜Ts1の場合、最小の0.0となり、Ts1≦コントラスト強度≦Ts2の場合、コントラスト強度が強くなるに従い大きくなり、コントラスト強度＞Ts2の場合、最大の1.0となる。また、weight_contrast_Eは、コントラスト強度＜Te1の場合、最小の0.0となり、Te1≦コントラスト強度≦Te2の場合、コントラスト強度が強くなるに従い大きくなり、コントラスト強度＞Te2の場合、最大の1.0となる。
【０１６５】
なお、閾値Ts2を超える範囲（閾値Te2を超える範囲）は、エッジ領域（の画素）において現れる頻度が高いコントラスト強度の範囲であり、閾値Ts1未満となる範囲（閾値Te1未満となる範囲）は、エッジ領域（の画素）において現れる頻度が低いコントラスト強度の範囲である。従って、weight_contrast_Sおよびweight_contrast_Eは、エッジ領域において現れる頻度が高い所定のコントラスト強度に対する、注目画素におけるコントラスト強度の近さの度合いに基づく値となる。
【０１６６】
なお、閾値Ts1と閾値Te1、または、閾値Ts2と閾値Te2を異なる値に設定するようにしてもよい。
【０１６７】
図１４の線Lfは、コントラスト強度とweight_contrast_Fとの関係を示している。すなわち、weight_contrast_Fは、コントラスト強度＜Tf1の場合、最大の1.0となり、Tf1≦コントラスト強度≦Tf2の場合、コントラスト強度が弱くなるに従い小さくなり、コントラスト強度＞Tf2の場合、最小の0.0となる。
【０１６８】
なお、閾値Tf1未満となる範囲は、フラット領域（の画素）において現れる頻度が高いコントラスト強度の範囲であり、閾値Tf2以上となる範囲は、フラット領域（の画素）において現れる頻度が低いコントラスト強度の範囲である。従って、weight_contrast_Fは、フラット領域において現れる頻度が高い所定のコントラスト強度に対する、注目画素におけるコントラスト強度の近さの度合いに基づく値となる。
【０１６９】
図１４の線Ltは、コントラスト強度とweight_contrast_Tとの関係を示している。すなわち、weight_contrast_Tは、コントラスト強度＜Tt1の場合、最小の0.0となり、Tt1≦コントラスト強度≦Tt2の場合、コントラスト強度が強くなるに従い大きくなり、Tt2＜コントラスト強度＜Tt3の場合、最大の1.0となり、Tt3≦コントラスト強度≦Tt4の場合、コントラスト強度が強くなるに従い小さくなり、コントラスト強度＜Tt4の場合、最小の0.0となる。
【０１７０】
なお、閾値Tt2以上かつ閾値Tt3以下となる範囲は、テクスチャ領域（の画素）において現れる頻度が高いコントラスト強度の範囲であり、閾値Tt1未満となる範囲および閾値Tt4を超える範囲は、テクスチャ領域（の画素）において現れる頻度が低いコントラスト強度の範囲である。従って、weight_contrast_Tは、フラット領域において現れる頻度が高い所定のコントラスト強度に対する、注目画素におけるコントラスト強度の近さの度合いに基づく値となる。
【０１７１】
ステップＳ６８において、傾き選択部１１０は、傾き選択処理を行う。具体的には、傾き選択部１１０は、以下の式（２９）に基づいて、注目画素におけるBalanceを計算する。
【０１７２】
Balance (x,y) =Σdir=N,...2N-2Population(Ldir)−Σi=0,...N-2Population(Ldir)
・・・（２９）
【０１７３】
なお、Balance(x,y)は、座標(x,y)の注目画素におけるBalanceを示す。また、Population(Ldir)は、注目領域の補間画素のうち、エッジ方向sel_dirが方向Ldir、かつ、信頼度が１、かつ、weight_contrast_Sが所定の閾値以上である補間画素の合計数を示す。
【０１７４】
傾き選択部１１０は、Balance(x,y)＝0である場合、注目画素の補間に用いる画素を選択する方向として、LN-1（垂直方向）を選択する。また、傾き選択部１１０は、Balance(x,y)＞0である場合、注目画素の補間に用いる画素を選択する方向として、LN乃至L2N-2（垂直方向より右に傾いた（右上がり）の方向）を選択する。さらに、傾き選択部１１０は、Balance(x,y)＜0である場合、注目画素の補間に用いる画素を選択する方向として、L0乃至LN-2（垂直方向より左に傾いた（左上がり）の方向）を選択する。
【０１７５】
すなわち、注目画素の補間に用いる画素を選択する方向は、エッジの方向の信頼度が高く、weight_contrast_Sが大きい注目領域内の画素におけるエッジの方向の分布に基づいて選択される。
【０１７６】
傾き選択部１１０は、選択した方向を示す情報をダブラ処理部２２の統計傾斜補間部１５２に供給する。
【０１７７】
ステップＳ６９において、斜め重み付け設定部１１１は、斜め方向の重みを設定する。具体的には、斜め重み付け設定部１１１は、以下の式（３０）に基づいて、注目画素を中心とする注目領域におけるエッジ方向の顕著性に基づく重み値であるweight_slantを求める。
【０１７８】
【数５】
0004710635.tif 000006
【０１７９】
なお、weight_slant(x,y)は、座標(x,y)の注目画素に対するweight_slantを示す。また、Coef_Balance(sel_dir(xt0+i,yt0+2i))は、座標(xt0+i,yt0+2i)の補間画素のエッジ方向sel_dir(xt0+i,yt0+2i)に応じて設定される重みである。
【０１８０】
weight_slantは、注目領域内の各補間画素におけるエッジ方向の信頼度、weight_contrast_S、および、エッジ方向sel_dirに応じた重みCoef_Balanceを乗じた値を合計することにより求められる。すなわち、weight_slantは、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ、weight_contrast_Sが大きいほど（現在の注目領域におけるエッジの方向が顕著であるほど）、大きくなり、各補間画素におけるエッジ方向の信頼度が低いほど、かつ、weight_contrast_Sが小さいほど（現在の注目領域におけるエッジの方向が不確かであるほど）、小さくなる。
【０１８１】
斜め重み付け設定部１１１は、weight_slantを示す斜め重み付け情報をダブラ処理部２２の斜め合成部１５３に供給する。
【０１８２】
ステップＳ７０において、エッジ強度情報生成部１１４は、エッジ強度情報を生成する。具体的には、エッジ強度情報生成部１１４は、以下の式（３１）に基づいて、注目画素を中心とする注目領域におけるエッジ強度に基づく重み値であるweight_edgeを求める。
【０１８３】
【数６】
0004710635.tif 000007
【０１８４】
なお、weight_edge(x,y)は、座標(x,y)の注目画素に対するweight_edgeを示す。また、Coef_Edge(sel_dir(sel_dir(xt0+i,yt0+2i))は、座標(xt0+i,yt0+2i)の補間画素のエッジ方向sel_dir(xt0+i,yt0+2i)に応じて設定される重みである。例えば、特定の方向のエッジを強調したい場合、そのエッジ方向に対応するCoef_Edgeが、他のエッジ方向に対応するCoef_Edgeより大きな値に設定される。
【０１８５】
weight_edgeは、注目領域内の各補間画素におけるエッジ方向の信頼度、weight_contrast_E、および、エッジ方向に応じた重みCoef_Edgeを乗じた値を合計することにより求められる。すなわち、weight_edgeは、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ、weight_contrast_Eが大きいほど（注目領域のエッジ強度が強いほど）、大きくなり、各補間画素におけるエッジ方向の信頼度が低いほど、かつ、weight_contrast_Eが小さいほど（注目領域のエッジ強度が弱いほど）、小さくなる。
【０１８６】
エッジ強度情報生成部１１４は、weight_edgeを示すエッジ強度情報を生成し、エッジ強度情報をエンハンサ処理部２３のエッジ適応混合処理部２０６に出力する。
【０１８７】
ステップＳ７１において、テクスチャ強度情報生成部１１３は、テクスチャ強度情報を生成する。具体的には、テクスチャ強度情報生成部１１３は、以下の式（３２）に基づいて、注目画素を中心とする注目領域におけるテクスチャ強度に基づく重み値であるweight_textureを求める。
【０１８８】
【数７】
0004710635.tif 000008
【０１８９】
なお、weight_texture(x,y)は、座標(x,y)の注目画素に対するweight_textureを示す。また、Coef_Texture(sel_dir(sel_dir(xt0+i,yt0+2i))は、座標(xt0+i,yt0+2i)の補間画素のエッジ方向sel_dir(xt0+i,yt0+2i)に応じて設定される重みである。
【０１９０】
weight_textureは、注目領域内の各補間画素におけるエッジ方向の信頼度、weight_contrast_T、および、エッジ方向に応じた重みCoef_Textureを乗じた値を合計することにより求められる。すなわち、weight_textureは、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ、weight_contrast_Tが大きいほど（注目領域のテクスチャ強度が強いほど）、大きくなり、各補間画素におけるエッジ方向の信頼度が低いほど、かつ、weight_contrast_Tが小さいほど（注目領域のテクスチャ強度が弱いほど）、小さくなる。
【０１９１】
テクスチャ強度情報生成部１１３は、weight_textureを示すテクスチャ強度情報を生成し、テクスチャ強度情報をエンハンサ処理部２３のテクスチャ適応混合処理部２０４に出力する。
【０１９２】
ステップＳ７２において、フラット強度情報生成部１１２は、フラット強度情報を生成する。具体的には、フラット強度情報生成部１１２は、以下の式（３３）に基づいて、注目画素を中心とする注目領域におけるフラット強度に基づく重みであるweight_flatを求める。
【０１９３】
【数８】
0004710635.tif 000009
【０１９４】
なお、weight_flat(x,y)は、座標(x,y)の注目画素に対するweight_flatを示す。また、Coef_Flat(sel_dir(sel_dir(xt0+i,yt0+2i))は、座標(xt0+i,yt0+2i)の補間画素のエッジ方向sel_dir(xt0+i,yt0+2i)に応じて設定される重みである。
【０１９５】
weight_flatは、注目領域内の各補間画素におけるエッジ方向の信頼度、weight_contrast_F、および、エッジ方向に応じた重みCoef_Flatを乗じた値を合計することにより求められる。すなわち、weight_flatは、注目領域内の各補間画素におけるエッジ方向の信頼度が高いほど、かつ、weight_contrast_Fが大きいほど（注目領域のフラット強度が強いほど）、大きくなり、各補間画素におけるエッジ方向の信頼度が低いほど、かつ、weight_contrast_Fが小さいほど（注目領域のフラット強度が弱いほど）、小さくなる。
【０１９６】
フラット強度情報生成部１１２は、weight_flatを示すフラット強度情報を生成し、フラット強度情報をエンハンサ処理部２３のフラット適応混合処理部２０２に出力する。
【０１９７】
ステップＳ７３において、プロファイラ処理部２１は、画像内の全ての補間画素について処理したか否かを判定する。まだ、画像内の全ての補間画素について処理されていないと判定された場合、すなわち、まだ画像内の全ての補間画素について、傾き選択処理、並びに、weight_slant、weight_edge、weight_texture、および、weight_flatの設定が行われていない場合、処理はステップＳ５２に戻る。その後、ステップＳ７３において、画像内の全ての補間画素について処理したと判定されるまで、ステップＳ５２乃至S７３の処理が繰返し実行され、画像内の全ての補間画素について、傾き選択処理、並びに、weight_slant、weight_edge、weight_texture、および、weight_flatの設定が行われる。
【０１９８】
ステップＳ７３において、画像内の全ての補間画素について処理したと判定された場合、プロファイラ処理は終了する。
【０１９９】
図６に戻り、ステップＳ２２において、ダブラ処理部２２は、ダブラ処理を行う。ここで、図１５のフローチャートを参照して、ダブラ処理の詳細を説明する。
【０２００】
ステップＳ１０１において、画像蓄積部２５は、画像を供給する。具体的には、画像蓄積部２５は、倍密化処理を行う画像を、ダブラ処理部２２の線形補間部１５１および統計傾斜補間部１５２に供給する。
【０２０１】
ステップＳ１０２において、ダブラ処理部２２は、注目画素および注目領域を設定する。具体的には、ダブラ処理部２２は、上述した図７のステップＳ５２におけるプロファイラ処理部２１による処理と同様に、まだダブラ処理を行っていない補間画素を１つ選択し、注目画素に設定するとともに、注目画素を中心とする所定の範囲の領域を注目領域に設定する。
【０２０２】
ステップＳ１０３において、線形補間部１５１は、線形補間を行う。具体的には、線形補間部１５１は、注目画素の垂直方向の上下に存在する複数の画素に対して、所定のフィルタ処理を施すことにより、注目画素に対する線形補間による画素値を求める。線形補間部１５１は、求めた画素値を示す情報を斜め合成部１５３に供給する。なお、以下、線形補間部１５１により求められた座標(x,y)の補間画素の画素値を線形補間画素(x,y)と表す。なお、線形補間部１５１による補間方法は、統計傾斜補間部１５２と異なる方法であれば、特にその方法は限定されず、例えば、線形補間以外の補間方法を用いるようにしてもよい。
【０２０３】
ステップＳ１０４において、統計傾斜補間部１５２は、統計傾斜補間を行う。具体的には、統計傾斜補間部１５２は、上述した図８のステップＳ６８において、傾き選択部１１０により垂直方向より左に傾いた方向が選択されている場合、統計傾斜補間部１５２は、以下の式（３４）に基づいて、注目画素に対する統計傾斜補間による画素値である統計傾斜補間画素を算出する。
【０２０４】
【数９】
0004710635.tif 000010
【０２０５】
なお、統計傾斜補間画素(x,y)は、座標(x,y)の注目画素における統計傾斜補間画素を示す。また、式（３４）の方向Ldirには、上述したエッジ方向判別領域において用いられたものと同様の方向が用いられる。また、傾斜平均画素(Ldir)は、注目画素を中心とする方向Ldirに位置する、注目画素の上に隣接する実在行と下に隣接する実在行にある２つの画素（実在画素）の平均値である。さらに、Population(Ldir)は、上述した式（２９）において定義したものと同様である。すなわち、傾き選択部１１０により垂直方向より左に傾いた方向が選択されている場合、統計傾斜補間画素は、注目画素を中心とする垂直方向より左に傾いた方向にある注目画素の近傍の画素を、注目領域内における各補間画素のエッジ方向の分布に応じて重み付けして加算した値となる。
【０２０６】
また、統計傾斜補間部１５２は、上述した図８のステップＳ６８において、傾き選択部１１０により垂直方向より右に傾いた方向が選択された場合、以下の式（３５）に基づいて、注目画素に対する統計傾斜補間画素を算出する。
【０２０７】
【数１０】
0004710635.tif 000011
【０２０８】
すなわち、傾き選択部１１０により垂直方向より右に傾いた方向が選択されている場合、統計傾斜補間画素は、注目画素を中心とする垂直方向より右に傾いた方向にある注目画素の近傍の画素を、注目領域内における各補間画素のエッジ方向の分布に応じて重み付けして加算した値となる。
【０２０９】
さらに、統計傾斜補間部１５２は、上述した図８のステップＳ６８において、傾き選択部１１０により垂直方向が選択されている場合、統計傾斜補間画素を、注目画素の上下に隣接する画素の画素値の平均値とする。
【０２１０】
統計傾斜補間部１５２は、統計傾斜補間画素を斜め合成部１５３に供給する。
【０２１１】
ステップＳ１０５において、斜め合成部１５３は、画素を合成する。具体的には、斜め合成部１５３は、以下の式（３６）に基づいて、線形補間画素と統計傾斜補間画素とを、weight_slantに基づく重みをつけて加算することにより、斜め合成画素を生成する。
【０２１２】
斜め合成画素(x,y)
=（1−weight_slant(x,y)）×線形補間画素(x,y)）
＋weight_slant(x,y)×（統計傾斜補間画素(x,y)）        ・・・（３６）
【０２１３】
すなわち、斜め合成部１５３は、weight_slantが大きいほど（エッジの方向が顕著な領域に位置する画素ほど）、統計傾斜補間画素の比率を高く、線形補間画素の比率を低くし、weight_slantが小さいほど（エッジの方向が不確かな領域に位置する画素ほど）、線形補間画素の比率を高く、統計傾斜補間画素を低くして、線形補間画素と統計傾斜補間画素とを加算する。
【０２１４】
斜め合成部１５３は、斜め合成画素を画像蓄積部２５に供給する。画像蓄積部２５は、斜め合成画素を一時的に蓄積する。
【０２１５】
ステップＳ１０６において、ダブラ処理部２２は、画素の補間が全て終了したか否かを判定する。ダブラ処理部２２は、まだ全ての補間画素に対する斜め合成画素を生成していない場合、まだ画素の補間が終了していないと判定し、処理はステップＳ１０２に戻る。その後、ステップＳ１０６において、画素の補間が全て終了したと判定されるまで、ステップＳ１０２乃至Ｓ１０６の処理が繰返し実行され、全ての補間画素について、斜め合成画素(x,y)が生成される。
【０２１６】
ステップＳ１０６において、画素の補間が全て終了したと判定された場合、ダブラ処理は終了する。
【０２１７】
図６に戻り、ステップＳ２３において、エンハンサ処理部２３は、エンハンサ処理を行う。ここで、図１６のフローチャートを参照して、エンハンサ処理の詳細を説明する。
【０２１８】
ステップＳ１５１において、フラットフィルタ処理部２０１は、斜め合成画像に対して、フラットフィルタ処理を施す。具体的には、画像蓄積部２５は、斜め合成画素からなる斜め合成画像を、エンハンサ処理部２３のフラットフィルタ処理部２０１、フラット適応混合処理部２０２、テクスチャフィルタ処理部２０３、および、エッジフィルタ処理部２０５に供給する。フラットフィルタ処理部２０１は、斜め合成画像の各画素について、所定の空間周波数の帯域の成分を減衰させる特徴を持つフィルタを用いて、その画素およびその画素の近傍の画素からなる領域に対してフラットフィルタ処理を施す。
【０２１９】
例えば、フラットフィルタ処理部２０１は、メディアンフィルタ、ローパスフィルタなど、画像の高周波帯域の成分を減衰する平滑化フィルタを用いて、フラットフィルタ処理を行う。この場合、フラットフィルタ処理が施された画素からなるフラット画像は、斜め合成画像を全体的に平滑化し、ノイズなどによる画素値の細かな振動が抑制された画像となる。なお、以下、フラットフィルタ処理部２０１が、平滑化フィルタを用いて、フラットフィルタ処理を行う場合の例について説明する。
【０２２０】
フラットフィルタ処理部２０１は、フラットフィルタ処理が施されたフラット画素からなるフラット画像をフラット適応混合処理部２０２に供給する。
【０２２１】
ステップＳ１５２において、テクスチャフィルタ処理部２０３は、斜め合成画像に対して、テクスチャフィルタ処理を施す。具体的には、テクスチャフィルタ処理部２０３は、例えば、図１７に示される画素mを注目画素とした場合、注目画素ｍを中心とする画素ｃ，ｈ，ｍ，ｒ，ｗからなる縦方向の領域に対して、１次元のテクスチャフィルタ処理を施す。このとき用いられるフィルタ係数は、例えば、（1/４−αT/2，0，αT＋1/2，0，1/4−αT /2）（0.5<αT）とされ、注目画素mの座標を(x,y)とした場合、以下の式（３７）に基づいて、注目画素ｍに対するテクスチャ画素の画素値が求められる。
【０２２２】
テクスチャ画素(x,y)＝c×(1/4−αT /2)＋m×(αT+1/2)＋w×(1/4−αT/2)
・・・（３７）
【０２２３】
なお、テクスチャ画素(x,y)はテクスチャ画像の座標(x,y)の画素（テクスチャ画素）の画素値を表す。また、係数αTは、テクスチャフィルタ処理によりテクスチャ成分を強調する程度を調節するための係数である。従って、テクスチャ画素からなるテクスチャ画像は、所定の周波数帯域の成分が強調され、斜め合成画像を全体的により鮮明にした画像となる。
【０２２４】
テクスチャフィルタ処理部２０３は、テクスチャ画素からなるテクスチャ画像をテクスチャ適応混合処理部２０４に供給する。
【０２２５】
ステップＳ１５３において、エッジフィルタ処理部２０５は、斜め合成画像に対して、エッジフィルタ処理を施す。具体的には、エッジフィルタ処理部２０５は、例えば、図１７に示される注目画素ｍを中心とする画素ｃ，ｈ，ｍ，ｒ，ｗからなる縦方向の領域に対して、１次元のエッジフィルタ処理を施す。このとき用いられるフィルタ係数は、例えば、（1/４−αE/2，1/4，αE＋1/2，1/4，1/4−αE /2）（0.5<αE）とされ、注目画素mの座標を(x,y)とした場合、以下の式（３８）に基づいて、注目画素mに対するエッジ画素の画素値が求められる。
【０２２６】
エッジ画素(x,y)＝ｃ×(1/4−αE/2)＋h×1/4＋m×αE＋r×1/4＋ｗ×(1/4−αE/2)
・・・（３８）
【０２２７】
なお、エッジ画素(x,y)はエッジ画像の座標(x,y)の画素（エッジ画素）の画素値を表す。また、係数αEは、エッジフィルタ処理によりエッジ成分を強調する程度を調節するための係数である。従って、エッジ画素からなるエッジ画像は、斜め合成画像のエッジを強調した画像となる。
【０２２８】
エッジフィルタ処理部２０５は、エッジ画素からなるエッジ画像をエッジ適応混合処理部２０６に供給する。
【０２２９】
ステップＳ１５４において、フラット適応混合処理部２０２は、斜め合成画像およびフラット画像に対して、フラット適応混合処理を施す。具体的には、フラット適応混合処理部２０２は、以下の式（３９）に基づいて、フラット混合画像を構成するフラット混合画素の画素値を算出する。
【０２３０】
フラット混合画素(x,y)
＝(１−weight_flat(x,y))×斜め合成画素(x,y)＋weight_flat(x,y)×フラット画素(x,y)
・・・（３９）
【０２３１】
なお、フラット画素(x,y)はフラット画像の座標(x,y)の画素（フラット画素）の画素値を表し、フラット混合画素(x,y)はフラット混合画像の座標(x,y)の画素（フラット混合画素）の画素値を表す。すなわち、フラット適応混合処理部２０２は、weight_flatが大きいほど（フラット強度が強い領域の画素ほど）、フラット画像の画素値の比率を高く、斜め合成画像の画素値の比率を低くし、weight_flatが小さいほど（フラット強度が弱い領域の画素ほど）、斜め合成画像の画素値の比率を高く、フラット画像の画素値の比率を低くして、斜め合成画像とフラット画像の対応する位置にある画素の画素値を加算する。
【０２３２】
従って、フラット混合画像は、斜め合成画像のフラット成分を多く含む領域において、平滑化によりノイズが抑制され、斜め合成画像のフラット成分をあまり含まない領域において、ほとんどあるいは全く処理が施されない画像となる。
【０２３３】
フラット適応混合処理部２０２は、フラット適応混合処理が施されたフラット混合画素からなるフラット混合画像をテクスチャ適応混合処理部２０４に供給する。
【０２３４】
ステップＳ１５５において、テクスチャ適応混合処理部２０４は、フラット混合画像およびテクスチャ画像に対して、テクスチャ適応混合処理を施す。具体的には、テクスチャ適応混合処理部２０４は、以下の式（４０）に基づいて、テクスチャ混合画像を構成するテクスチャ混合画素の画素値を算出する。
【０２３５】
テクスチャ混合画素(x,y)
＝(１−weight_texture(x,y))×フラット混合画素(x,y)
＋weight_texture(x,y)×テクスチャ画素(x,y)            ・・・（４０）
【０２３６】
なお、テクスチャ混合画素(x,y)はテクスチャ混合画像の座標(x,y)の画素（テクスチャ混合画素）の画素値を表す。すなわち、テクスチャ適応混合処理部２０４は、weight_textureが大きいほど（テクスチャ強度が強い領域の画素ほど）、テクスチャ画像の画素値の比率を高く、フラット混合画像の画素値の比率を低くし、weight_textureが小さいほど（テクスチャ強度が弱い領域の画素ほど）、フラット混合画像の画素値の比率を高く、テクスチャ画像の画素値の比率を低くして、フラット混合画像とテクスチャ画像の対応する位置にある画素の画素値を加算する。
【０２３７】
従って、テクスチャ混合画像は、フラット混合画像のテクスチャ成分を多く含む領域において、画像がより鮮明にされ、テクスチャ成分をあまり含まない領域において、ほとんどあるいは全く処理が施されない画像となる。
【０２３８】
ステップＳ１５６において、エッジ適応混合処理部２０６は、テクスチャ混合画像およびエッジ画像に対して、エッジ適応混合処理を施し、エンハンサ処理は終了する。具体的には、エッジ適応混合処理部２０６は、以下の式（４１）に基づいて、エッジ混合画像を構成するエッジ混合画素の画素値を算出する。
【０２３９】
エッジ混合画素(x,y)
＝(１−weight_edge(x,y))×テクスチャ混合画素(x,y)
＋weight_edge(x,y)×エッジ画素(x,y)                      ・・・（４１）
【０２４０】
なお、エッジ混合画素(x,y)はエッジ混合画像の座標(x,y)の画素（エッジ混合画素）の画素値を表す。すなわち、エッジ適応混合処理部２０６は、weight_edgeが大きいほど（エッジ強度が強い領域の画素ほど）、エッジ画像の画素値の比率を高く、テクスチャ混合画像の画素値の比率を低くし、weight_edgeが小さいほど（エッジ強度が弱い領域の画素ほど）、テクスチャ混合画像の画素値の比率を高く、エッジ画像の画素値の比率を低くして、テクスチャ混合画像とエッジ画像の対応する位置にある画素の画素値を加算する。
【０２４１】
従って、エッジ混合画像は、テクスチャ混合画像のエッジ成分を多く含む領域において、エッジが強調され、エッジ成分をあまり含まない領域において、ほとんどあるいは全くエッジ強調が施されない画像となる。
【０２４２】
エッジ適応混合処理部８４は、エッジ適応混合処理が施されたエッジ混合画素からなるエッジ混合画像を画像蓄積部２５に供給する。画像蓄積部２５は、エッジ混合画像を一時的に蓄積する。
【０２４３】
図６に戻り、ステップＳ２４乃至Ｓ２６において、上述したステップＳ２１乃至Ｓ２３と同様の処理が実行される。ただし、ステップＳ２４乃至Ｓ２６においては、ステップＳ２１乃至Ｓ２３において生成されたエッジ混合画像の水平方向について、プロファイラ処理、ダブラ処理、および、エンハンサ処理が施される。すなわち、エッジ混合画像の水平方向における画素の補間が行われる。また、ステップＳ２６のエンハンサ処理において生成された画像、すなわち、垂直方向および水平方向について画素が補間された画像（以下、倍密化画像とも称する）は、画像蓄積部２５に供給され、一次的に蓄積される。
【０２４４】
以上のように、画像のエッジ方向およびその信頼度、並びに、コントラスト強度に基づいて、画像のエッジの方向を考慮して、画素を補間することにより、周囲の画素と調和の取れた画素が補間され、解像度を変換した後の画像（斜め補間画像）の画質が向上する。また、エッジ方向およびその信頼度、並びに、コントラスト強度に基づいて求められたweight_flat，weight_texture、および、weight_edgeを用いることにより、処理対象となる画像について、フラット成分を多く含む領域、テクスチャ成分を多く含む領域、および、エッジ成分を多く含む領域を、複雑な処理を行うことなく正確に分割することができる。さらに、斜め補間画像に対して、実質的に、フラット成分を多く含む領域、テクスチャ成分を多く含む領域、および、エッジ成分を多く含む領域ごとにフィルタ処理が施されるので、より画像の特徴に適した画質の調整を行うことができ、ユーザが所望する画質の画像を簡単に得ることができる。
【０２４５】
次に、図１８乃至図２２を参照して、本発明の他の実施の形態について説明する。
【０２４６】
図１８は、本発明を適用した画像処理装置の一実施の形態を示すブロック図である。本発明を適用した画像処理装置３０１は、画像入力部１１、画像処理部３１１、および、画像出力部１３を含むように構成される。また、画像処理部３１１は、プロファイラ処理部３２１、エンハンサ処理部２３、および、画像蓄積部２５を含むように構成される。なお、図中、図１と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【０２４７】
画像処理部３１１は、図２０などを参照して後述するように、入力画像の画質を調整する画質調整処理を行う。画像処理部３１１は、画質を調整した画像を画像出力部１３に供給する。
【０２４８】
プロファイラ処理部３２１は、図２１を参照して後述するように、プロファイラ処理を行う。具体的には、プロファイラ処理部３２１は、外部から入力された画像のエッジの方向およびその信頼度を検出する。また、プロファイラ処理部２１は、外部から入力された画像のコントラスト強度を検出する。また、プロファイラ処理部３２１は、外部から入力画像について、weight_flat，weight_textiure、および、weight_edgeを設定する。プロファイラ処理部３２１は、weight_flat，weight_textiure、および、weight_edgeを示す情報をエンハンサ処理部２３に供給する。
【０２４９】
図１９は、プロファイラ処理部３２１の機能の構成の例を示すブロック図である。プロファイラ処理部３２１は、方向検出部４０１、方向性分布生成部４０２、信頼度検出部４０３、信頼度分布生成部４０４、コントラスト計算部４０５、フラットコントラスト分布生成部４０７、テクスチャコントラスト分布生成部４０８、エッジコントラスト分布生成部４０９、フラット強度情報生成部４１２、テクスチャ強度情報生成部４１３、および、エッジ強度情報生成部４１４を含むように構成される。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【０２５０】
方向性分布生成部４０２は、図２１を参照して後述するように、方向検出部４０１により検出されたエッジ方向の分布を示す方向性分布を生成する。方向性分布生成部４０２は、生成した方向性分布を示す方向性分布情報を、フラット強度情報生成部４１２、テクスチャ強度情報生成部４１３、および、エッジ強度情報生成部４１４に供給する。
【０２５１】
信頼度分布生成部４０４は、図２２を参照して後述するように、信頼度検出部４０３により検出された信頼度の分布を示す信頼度分布を生成する。信頼度分布生成部４０４は、生成した信頼度分布を示す信頼度分布情報を、フラット強度情報生成部４１２、テクスチャ強度情報生成部４１３、および、エッジ強度情報生成部４１４に供給する。
【０２５２】
コントラスト計算部４０５は、図２２を参照して後述するように、外部から入力された画像のコントラストの強さであるコントラスト強度を検出する。コントラスト計算部４０５は、検出したコントラスト強度を示すコントラスト情報を、フラットコントラスト分布生成部４０７、テクスチャコントラスト分布生成部４０８、および、エッジコントラスト分布生成部４０９に供給する。
【０２５３】
次に、図２０乃至図２２を参照して、画像処理装置３０１により実行される処理を説明する。
【０２５４】
まず、図２０を参照して、画像処理装置３０１により実行される画質調整処理を説明する。なお、この処理は、例えば、ユーザが、画像処理装置３０１の図示せぬ操作部を操作することにより、画像入力部１１から画像処理部３１１に画像（入力画像）が入力され、入力画像の画質を調整するように指令したとき開始される。なお、入力画像は、画像蓄積部２５に供給され、一時的に蓄積される。
【０２５５】
ステップＳ２０１において、プロファイラ処理部３２１は、プロファイラ処理を行う。ここで、図２１および図２２のフローチャートを参照して、プロファイラ処理の詳細を説明する。
【０２５６】
ステップＳ２５１において、画像蓄積部２５は、画像を供給する。具体的には、画像蓄積部２５は、入力画像を、プロファイラ処理部３２１の方向検出部４０１、信頼度検出部４０３、および、コントラスト計算部４０５に供給する。
【０２５７】
ステップＳ２５２において、プロファイラ処理部３２１は、注目画素および注目領域を設定する。具体的には、プロファイラ処理部３２１は、画像蓄積部２５から取得した画像の画素のうち、まだプロファイラ処理を行っていない画素を１つ選択し、注目画素に設定する。また、プロファイラ処理部３２１は、注目画素を中心とする所定の範囲の領域を注目領域に設定する。
【０２５８】
ステップＳ２５３において、方向検出部４０１は、エッジ方向検出領域を設定する。具体的には、まず、プロファイラ処理部３２１は、注目領域内の画素のうち、まだエッジ方向を検出していない画素を１つ選択する。なお、以下、このとき選択された画素をエッジ方向検出画素と称する。方向検出部４０１は、図７のステップＳ５２の処理と同様に、エッジ方向検出画素の上下に隣接する行から抽出された画素、および、バーチャル画素からなるエッジ方向検出領域を設定する。
【０２５９】
ステップＳ２５４において、方向検出部４０１は、上述した図７のステップＳ５４と同様の処理により、エッジ方向検出領域の局所エネルギを算出する。
【０２６０】
ステップＳ２５５において、方向検出部４０１は、上述した図７のステップＳ５５と同様の処理により、局所エネルギが所定の閾値より大きいか否かを判定する。局所エネルギELが予め設定されている所定の閾値より大きいと判定された場合、処理はステップＳ２５６に進む。
【０２６１】
ステップＳ２５６において、方向検出部４０１は、上述した図７のステップＳ５６と同様の処理により、エッジ方向検出画素のエッジ方向sel_dirを検出する。方向検出部４０１は、局所エネルギELが所定の閾値を超えていること、および、エッジ方向sel_dirを示すエッジ方向情報を方向性分布生成部４０２、および、信頼度検出部４０３に供給する。
【０２６２】
ステップＳ２５７において、信頼度検出部４０３は、上述した図７のステップＳ５７と同様の処理により、ステップＳ２５６において検出されたエッジ方向の信頼度を検出する。信頼度検出部４０３は、検出した信頼度を示す信頼度情報を信頼度分布生成部４０４に供給する。その後、処理はステップＳ２６０に進む。
【０２６３】
ステップＳ２５５において、局所エネルギELが所定の閾値以下であると判定された場合、処理はステップＳ２５８に進む。
【０２６４】
ステップＳ２５８において、方向検出部４０１は、上述した図７のステップＳ５８と同様の処理により、エッジ方向を暫定的に設定する。方向検出部４０１は、局所エネルギELが所定の閾値以下であること、および、エッジ方向sel_dirを示すエッジ方向情報を方向性分布生成部４０２、および、信頼度検出部４０３に供給する。
【０２６５】
ステップＳ２５９において、信頼度検出部４０３は、上述した図７のステップＳ５９と同様の処理により、信頼度を暫定的に設定する。信頼度検出部４０３は、設定した信頼度を示す信頼度情報を信頼度分布生成部４０４に出力する。
【０２６６】
ステップＳ２６０において、コントラスト計算部４０５は、上述した図７のステップＳ６０と同様の処理により、エッジ方向検出画素を中心とするコントラスト検出領域におけるコントラスト強度を検出する。コントラスト計算部４０５は、コントラスト強度を示すコントラスト情報を、フラットコントラスト分布生成部４０７、テクスチャコントラスト分布生成部４０８、および、エッジコントラスト分布生成部４０９に供給する
【０２６７】
ステップＳ２６１において、プロファイラ処理部３２１は、注目領域内の全ての画素について処理したか否かを判定する。まだ、注目領域内の全ての画素について処理されていないと判定された場合、処理はステップＳ２５３に戻る。その後、ステップＳ２６１において、注目領域内の全ての画素について処理したと判定されるまで、ステップＳ２５３乃至Ｓ２６１の処理が繰返し実行され、注目領域内の全ての画素について、エッジ方向およびその信頼度、並びに、コントラスト強度が検出される。
【０２６８】
ステップＳ２６１において、注目領域内の全ての画素について処理したと判定された場合、処理はステップＳ２６２に進む。
【０２６９】
ステップＳ２６２において、方向性分布生成部４０２は、上述した図８のステップＳ６２と同様の処理により、注目領域内の各画素におけるエッジ方向の分布を示す方向性分布を生成する。方向性分布生成部４０２は、生成した方向性分布を示す方向性分布情報を、フラット強度情報生成部４１２、テクスチャ強度情報生成部４１３、および、エッジ強度情報生成部４１４に供給する。
【０２７０】
ステップＳ２６３において、信頼度分布生成部４０４は、上述した図７のステップＳ６３と同様の処理により、注目領域内の各画素における信頼度の分布を示す信頼度分布を生成する。信頼度分布生成部４０４は、生成した信頼度分布を示す信頼度分布情報を、フラット強度情報生成部４１２、テクスチャ強度情報生成部４１３、および、エッジ強度情報生成部４１４に供給する。
【０２７１】
ステップＳ２６４において、フラットコントラスト分布生成部４０７は、上述した図８のステップＳ６５と同様の処理により、注目領域内の各画素におけるweight_contrast_Fを求め、注目領域内の各画素におけるweight_contrast_Fの分布を示すコントラスト分布を生成する。フラットコントラスト分布生成部４０７は、weight_contrast_Fのコントラスト分布を示すコントラスト分布情報を、フラット強度情報生成部４１２に供給する。
【０２７２】
ステップＳ２６５において、テクスチャコントラスト分布生成部４０８は、上述した図８のステップＳ６６と同様の処理により、注目領域内の各画素におけるweight_contrast_Tを求め、注目領域内の各画素におけるweight_contrast_Tの分布を示すコントラスト分布を生成する。テクスチャコントラスト分布生成部４０８は、weight_contrast_Tのコントラスト分布を示すコントラスト分布情報を、テクスチャ強度情報生成部４１３に供給する。
【０２７３】
ステップＳ２６６において、エッジコントラスト分布生成部４０９は、上述した図８のステップＳ６７と同様の処理により、注目領域内の各画素におけるweight_contrast_Eを求め、注目領域内の各画素におけるweight_contrast_Eの分布を示すコントラスト分布を生成する。エッジコントラスト分布生成部４０９は、weight_contrast_Eのコントラスト分布を示すコントラスト分布情報を、エッジ強度情報生成部４１４に供給する。
【０２７４】
ステップＳ２６７において、エッジ強度情報生成部４１４は、上述した図７のステップＳ７０と同様の処理により、注目画素に対するweight_edgeを求め、weight_edgeを示すエッジ強度情報を、エンハンサ処理部２３のエッジ適応混合処理部２０６に供給する。なお、上述した図７のステップＳ７０においては、注目領域内の補間画素のエッジ方向およびその信頼度、並びに、コントラスト強度を用いてweight_edgeが求められたが、ステップＳ２６７においては、注目領域内の画素（実在画素）のエッジ方向およびその信頼度、並びに、コントラスト強度を用いてweight_edgeが求められる。
【０２７５】
ステップＳ２６８において、テクスチャ強度情報生成部４１３は、上述した図７のステップＳ７１と同様の処理により、注目画素に対するweight_textureを求め、weight_textureを示すテクスチャ強度情報を、エンハンサ処理部２３のテクスチャ適応混合処理部２０４に供給する。なお、上述した図７のステップＳ７１においては、注目領域内の補間画素のエッジ方向およびその信頼度、並びに、コントラスト強度を用いてweight_textureが求められたが、ステップＳ２６８においては、注目領域内の画素（実在画素）のエッジ方向およびその信頼度、並びに、コントラスト強度を用いてweight_textureが求められる。
【０２７６】
ステップＳ２６９において、フラット強度情報生成部４１２は、上述した図７のステップＳ７２と同様の処理により、注目画素に対するweight_flatを求め、weight_flatを示すフラット強度情報を、エンハンサ処理部２３のフラット適応混合処理部２０２に供給する。なお、上述した図７のステップＳ７１においては、注目領域内の補間画素のエッジ方向およびその信頼度、並びに、コントラスト強度を用いてweight_flatが求められたが、ステップＳ２６９においては、注目領域内の画素（実在画素）のエッジ方向およびその信頼度、並びに、コントラスト強度を用いてweight_flatが求められる。
【０２７７】
ステップＳ２７０において、プロファイラ処理部３２１は、画像内の全ての画素について処理したか否かを判定する。まだ、画像内の全ての画素について処理されていないと判定された場合、処理はステップＳ２５２に戻る。その後、ステップＳ２７０において、画像内の全ての画素について処理したと判定されるまで、ステップＳ２５２乃至Ｓ２７０の処理が繰返し実行され、画像内の全ての画素について、weight_edge、weight_texture、および、weight_flatの設定が行われる。
【０２７８】
ステップＳ２７０において、画像内の全ての画素について処理したと判定された場合、プロファイラ処理は終了する。すなわち、画像処理装置３０１のプロファイラ処理では、画像処理装置１のプロファイラ処理とは異なり、最終的に、入力画像内の全ての画素に対するweight_edge、weight_texture、および、weight_flatの設定が行われる。
【０２７９】
図２０に戻り、ステップＳ２０２において、入力画像に対して、図１６を参照して上述したエンハンサ処理が実行される。従って、入力画像に対して、実質的に、フラット成分を多く含む領域、テクスチャ成分を多く含む領域、および、エッジ成分を多く含む領域に分割され、個々にフィルタ処理が施される。
【０２８０】
その後、ステップＳ２０３およびＳ２０４において、上述したステップＳ２０１およびＳ２０２と同様の処理が実行される。ただし、ステップＳ２０３およびＳ２０４においては、ステップＳ２０２においてエンハンサ処理が施された画像の水平方向について、プロファイラ処理、および、エンハンサ処理が施される。また、ステップＳ２０４において、エンハンサ処理が施された画像、すなわち、入力画像の垂直方向および水平方向についてエンハンサ処理が施された画像は、画像蓄積部２５に供給され、一次的に蓄積される。
【０２８１】
ステップＳ２０５において、上述した図５のステップＳ７の処理と同様に、出力表示処理が実行され、画質調整処理は終了する。
【０２８２】
以上のように、原画像において注目する画素である注目画素におけるエッジの方向を検出し、エッジの方向の信頼度を検出し、注目画素について、注目画素を含む近傍の第１の領域におけるコントラストの強さであるコントラスト強度を検出し、注目画素について、画素値がほとんど変化しないフラット領域より画素値の変化が大きく、画素値が急峻に変化するエッジ領域より画素値の変化が小さいテクスチャ領域において現れる頻度が高い所定のコントラスト強度に対する注目画素のコントラスト強度の近さの度合いに基づく重み値であるテクスチャコントラスト重み値を設定し、注目画素について、エッジ領域において現れる頻度が高い所定のコントラスト強度に対する注目画素のコントラスト強度の近さの度合いに基づく重み値であるエッジコントラスト重み値を設定し、注目画素を含む近傍の第２の領域内の画素のエッジの方向、エッジの方向の信頼度、および、テクスチャコントラスト重み値に基づく重み値であるテクスチャ重み値を設定し、注目画素を含む近傍の第３の領域内の画素のエッジの方向、エッジの方向の信頼度、および、エッジコントラスト重み値に基づく重み値であるエッジ重み値を設定し、原画像に対して、テクスチャ領域に対する処理を目的としたフィルタ処理であるテクスチャフィルタ処理を行うことによりテクスチャフィルタ画像を生成し、原画像に対して、エッジ領域に対する処理を目的としたフィルタ処理であるエッジフィルタ処理を行うことによりエッジフィルタ画像を生成し、原画像とテクスチャフィルタ画像との対応する位置にある画素の画素値を、テクスチャ重み値に基づく重みをつけて加算することによりテクスチャ合成画像を生成し、テクスチャ合成画像とエッジフィルタ画像との対応する位置にある画素の画素値を、エッジ重み値に基づく重みをつけて加算することによりエッジ合成画像を生成する場合には、より正確に画像の特徴を検出することができる。またより画像の特徴に適応した画質の調整を行うことができる。
【０２８３】
なお、以上の説明では、傾き選択処理、並びに、weight_slant、weight_edge、weight_texture、および、weight_flatを求めるのに、全て同じ注目領域を用いるようにしたが、各処理において、注目領域の範囲を変更するようにしてもよい。
【０２８４】
また、ノイズが少ない画素については、フラット成分を多く含む領域に対するフラットフィルタ処理による効果が少ないため、例えば、画像処理装置１を、フラットコントラスト分布生成部１０７、フラット強度情報生成部１１２、フラットフィルタ処理部２０１、および、フラット適応混合処理部２０２を省略した構成として、斜め合成画像に対して、フラットフィルタ処理およびフラット適応混合処理を施さないようにしても、ユーザが所望する画質の画像を得ることが可能である。同様に、画像処理装置３０１において、フラットコントラスト分布生成部４０７、フラット強度情報生成部４１２、フラットフィルタ処理部２０１、および、フラット適応混合処理部２０２を省略した構成として、入力画像に対して、フラットフィルタ処理およびフラット適応混合処理を施さないようにしてもよい。
【０２８５】
さらに、本発明では、ダブラ処理を行ったあと、エンハンサ処理を行わない構成とするようにしても、エッジ方向を考慮した画像補間が行われるため、従来の補間方法と比較して、良好な画質を得ることができる。
【０２８６】
また、画像処理装置１に、従来の方法による拡大処理を行う手段を設け、例えば、画像を６倍に拡大する場合、ダブラ処理を２回行い、４倍に拡大した画像を得た後、拡大した画像をさらに従来の方法により３／２倍に拡大するようにしてもよい。
【０２８７】
さらに、倍密化処理において、画像の垂直方向または水平方向のいずれか一方のみを２倍に拡大するようにしてもよい。例えば、図６のステップＳ２１乃至Ｓ２３のみを行うことにより、画像の垂直方向のみを拡大することができ、図６のステップＳ２４乃至Ｓ２６のみを行うことにより、画像の水平方向のみを拡大することができる。例えば、垂直方向にのみ拡大する処理は、インタレース画像からプログレッシブ画像に変換するIP変換処理に適応することができる。
【０２８８】
なお、本発明は、各種の画像表示装置、画像再生装置、画像記録装置など、画質の調整を行う装置、または、画質の解像度を変換する装置に適用することができる。
【０２８９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２９０】
図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ９００の構成の例を示すブロック図である。CPU９０１は、ROM９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。
【０２９１】
CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。
【０２９２】
入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２９３】
また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。
【０２９４】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。
【０２９５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２９６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２９８】
【図１】本発明を適用した画像処理装置の一実施の形態を示すブロック図である。
【図２】図１のプロファイラ処理部の機能の構成の例を示すブロック図である。
【図３】図１のダブラ処理部の機能の構成の例を示すブロック図である。
【図４】図１のエンハンサ処理部の機能の構成の例を示すブロック図である。
【図５】図１の画像処理装置により実行される画像変倍処理を説明するためのフローチャートである。
【図６】図５のステップＳ３の倍密化処理の詳細を説明するためのフローチャートである。
【図７】図６のステップＳ２１，Ｓ２４のプロファイラ処理の詳細を説明するためのフローチャートである。
【図８】図６のステップＳ２１，Ｓ２４のプロファイラ処理の詳細を説明するためのフローチャートである。
【図９】注目領域の例を示す図である。
【図１０】エッジ方向検出領域の例を示す図である。
【図１１】方向性分布の例を示す図である。
【図１２】信頼度分布の例を示す図である。
【図１３】コントラスト分布の例を示す図である。
【図１４】コントラスト強度と各コントラスト重み値の関係を示すグラフである。
【図１５】図６のステップＳ２２，Ｓ２５のダブラ処理の詳細を説明するためのフローチャートである。
【図１６】図６のステップＳ２３，Ｓ２６のエンハンサ処理の詳細を説明するためのフローチャートである。
【図１７】図１６のステップＳ１５２のテクスチャフィルタ処理、および、図１６のステップＳ１５３のエッジフィルタ処理を説明するための図である。
【図１８】本発明を適用した画像処理装置の他の実施の形態を示すブロック図である。
【図１９】図１８のプロファイラ処理部の機能の構成の例を示すブロック図である。
【図２０】図１８の画像処理装置により実行される画質調整処理を説明するためのフローチャートである。
【図２１】図２０のステップＳ２０１，Ｓ２０３のプロファイラ処理の詳細を説明するためのフローチャートである。
【図２２】図２０のステップＳ２０１，Ｓ２０３のプロファイラ処理の詳細を説明するためのフローチャートである。
【図２３】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２９９】
１  画像処理装置，  １２  画像処理部，  ２１  プロファイラ処理部，  ２２  ダブラ処理部，  ２３  エンハンサ処理部，  ２４  縮小処理部，  １０１  方向検出部，  １０２  方向性分布生成部，  １０３  信頼度検出部，  １０４  信頼度分布生成部，  １０５  コントラスト計算部，  １０６  斜めコントラスト分布生成部，  １０７  フラットコントラスト分布生成部，  １０８  テクスチャコントラスト分布生成部，  １０９  エッジコントラスト分布生成部，  １１０  傾き選択部，  １１１  斜め重み付け設定部，  １１２  フラット強度情報生成部，  １１３  テクスチャ強度情報生成部，  １１４  エッジ強度情報生成部，  １５１  線形補間部，  １５２  統計傾斜補間部，  １５３  斜め合成部，  ２０１  フラットフィルタ処理部，  ２０２  フラット適応混合処理部，  ２０３  テクスチャフィルタ処理部，  ２０４  テクスチャ適応混合処理部，  ２０５  エッジフィルタ処理部，  ２０６  エッジ適応混合処理部，  ３０１  画像処理装置，  ３１１  画像処理部，  ３２１  プロファイラ処理部，  ４０１  方向検出部，  ４０２  方向性分布生成部，  ４０３  信頼度検出部，  ４０４  信頼度分布生成部，  ４０５  コントラスト計算部，  ４０７  フラットコントラスト分布生成部，  ４０８  テクスチャコントラスト分布生成部，  ４０９  エッジコントラスト分布生成部，  ４１２  フラット強度情報生成部，  ４１３  テクスチャ強度情報生成部，  ４１４  エッジ強度情報生成部，  ９０１  CPU，  ９０２  ROM，  ９０３  RAM，  ９０８  記録部，  ９１０  ドライブ，  ９１１  リムーバブルメディア
【図１】
0004710635.tif 000012
【図２】
0004710635.tif 000013
【図３】
0004710635.tif 000014
【図４】
0004710635.tif 000015
【図５】
0004710635.tif 000016
【図６】
0004710635.tif 000017
【図７】
0004710635.tif 000018
【図８】
0004710635.tif 000019
【図９】
0004710635.tif 000020
【図１０】
0004710635.tif 000021
【図１１】
0004710635.tif 000022
【図１２】
0004710635.tif 000023
【図１３】
0004710635.tif 000024
【図１４】
0004710635.tif 000025
【図１５】
0004710635.tif 000026
【図１６】
0004710635.tif 000027
【図１７】
0004710635.tif 000028
【図１８】
0004710635.tif 000029
【図１９】
0004710635.tif 000030
【図２０】
0004710635.tif 000031
【図２１】
0004710635.tif 000032
【図２２】
0004710635.tif 000033
【図２３】
0004710635.tif 000034