(57)【特許請求の範囲】
【請求項１】
輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行うデータ変換処理部を有し、
前記データ変換処理部は、
前記２次元画素配列信号を解析してエッジ情報を生成するエッジ検出部と、
前記２次元画素配列信号を解析してテクスチャ情報を生成するテクスチャ検出部と、
前記２次元画素配列信号を解析して画素変換処理に適用するパラメータを算出するパラメータ算出部と、
前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
を有する画像処理装置。
【請求項２】
前記輝度信号の主成分となる色は、白色または緑色である請求項１記載の画像処理装置。
【請求項３】
前記データ変換処理部は、
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出部と、
前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出部と、
ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出部と、
前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
を有する請求項１または２に記載の画像処理装置。
【請求項４】
前記パラメータ算出部は、
補間処理に適用する画素位置をエッジ方向に沿った画素位置とする補間処理によりパラメータを生成する構成である請求項３に記載の画像処理装置。
【請求項５】
前記パラメータ算出部は、
ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりパラメータを生成する構成である請求項３または４に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりＷ画素位置に対してＲＧＢいずれかの画素の画素値を設定する仮画素設定部を有し、
前記パラメータ算出部は、
前記仮画素設定データを適用した補間処理によりパラメータを生成する構成である請求項３〜５いずれかに記載の画像処理装置。
【請求項７】
前記パラメータ算出部は、
エッジ方向が縦、横、左斜め上、右斜め上の４種類のエッジ方向に応じて、適用画素位置をエッジ方向に沿った画素位置に設定した補間処理により算出した補間画素値相当の複数のパラメータを生成し、
前記ブレンド処理部は、
縦、横、左斜め上、右斜め上の４種類のエッジ方向の強度比較を実行して、比較結果に応じて前記複数のパラメータのブレンド比率を変更したブレンド処理を実行する請求項３〜６いずれかに記載の画像処理装置。
【請求項８】
前記ブレンド処理部は、
変換画素対応の縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＦｌａｔ）を算出し、さらに、エッジ方向度合い（ｒａｔｉｏＦｌａｔ）に基づいて、値が大きいほど斜め方向エッジより縦横方向エッジが強く、値が小さいほど斜め方向エッジが縦横方向エッジより強いことを示す縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出し、
変換画素対応の縦横方向エッジが斜め方向エッジより強い場合は、エッジ方向を縦または横方向として設定して算出したパラメータのブレンド比率を高くし、
変換画素対応の縦横方向エッジが斜め方向エッジより弱い場合は、エッジ方向を斜め方向として設定して算出したパラメータのブレンド比率を高くしたブレンド処理を実行する請求項３〜７いずれかに記載の画像処理装置。
【請求項９】
前記テクスチャ検出部は、
前記テクスチャ情報として、テクスチャが少なく平坦度が高い画素領域については高い値を示し、テクスチャが多く平坦度が低い画素領域については低い値を示す各画素対応の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、
前記パラメータ算出部は、
前記補間画素値に対するコントラスト強調処理を実行したコントラスト強調処理適用パラメータと、前記補間画素値に対するコントラスト強調処理を実行しないコントラスト強調処理非適用パラメータを算出し、
前記ブレンド処理部は、
前記平坦度重みの大きい画素については、前記コントラスト強調処理非適用パラメータのブレンド比率を大きく設定し、
前記平坦度重みの小さい画素については、前記コントラスト強調処理適用パラメータのブレンド比率を大きく設定したブレンド処理を実行する請求項３〜８いずれかに記載の画像処理装置。
【請求項１０】
前記エッジ検出部は、
前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のエッジ情報を生成する構成であり、
処理対象画素近傍のＷ画素の信号値勾配を算出して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成する請求項３〜９いずれかに記載の画像処理装置。
【請求項１１】
前記テクスチャ検出部は、
前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のテクスチャ度合いを示すテクスチャ情報を生成する請求項３〜１０いずれかに記載の画像処理装置。
【請求項１２】
画像処理装置において画像信号処理を実行する画像処理方法であり、
エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出ステップと、
テクスチャ検出部が、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出ステップと、
パラメータ算出部が、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出ステップと、
ブレンド処理部が、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理ステップと、
を有する画像処理方法。
【請求項１３】
画像処理装置において画像信号処理を実行させるプログラムであり、
エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成させるエッジ検出ステップと、
テクスチャ検出部に、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成させるテクスチャ検出ステップと、
パラメータ算出部に、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出させるパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成させるパラメータ算出ステップと、
ブレンド処理部に、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定させるブレンド処理ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特にＲＧＢＷ配列を持つ撮像素子の出力に対する信号処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば撮像装置に用いられる撮像素子（イメージセンサ）は、素子表面に各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させるカラーフィルタを貼り付けた構成を持つ。例えば図１（ａ）に示すようなＲＧＢ配列を持つフィルタが利用される。撮像素子の出力信号を用いたカラー画像生成処理においては、複数個の画素の組によって必要な色成分を復元する処理が行われる。カラーフィルタの色配列には様々なタイプがあるが、図１（ａ）に示す赤（Ｒ）、緑（Ｇ）、青（Ｂ）の特定波長光のみを透過させる３種類のフィルタによって構成されたベイヤ配列が多く利用されている。
【０００３】
近年、撮像素子（イメージセンサ）の画素の微細化が進み、これに伴い各画素への入射光量が減少しＳ／Ｎ比が劣化するという問題が発生してきた。この問題を解決するため、図１（ｂ）に示すようにＲＧＢ等の特定波長光のみを透過させるフィルタの他に、さらに可視光域の光を広く透過するホワイト(Ｗ：Ｗｈｉｔｅ)を持つイメージセンサ（撮像素子）が提案されている。図１（ｂ）には、ＲＧＢＷ配列を持つフィルタの一例を示している。図１（ｂ）に示すＲＧＢＷ配列におけるＷ画素は可視光域の光を広く透過するフィルタである。
【０００４】
このような、ホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを搭載した撮像素子については、例えば特許文献１（ＵＳ公開特許２００７／００２４８７９）、特許文献２（ＵＳ公開特許２００７／００２４９３４）に記載されている。
図１（ｂ）に示すようなホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを持つ撮像素子（イメージセンサ）を用いることで、フィルタの透過光率が高くなり、高感度化が実現できる。
【０００５】
しかし、ＲＧＢＷ型の素子の問題点として以下のような問題点がある。
図１（ａ）に示すＲＧＢ配列、あるいは図１（ｂ）に示すＲＧＢＷ配列のいずれも、Ｒ，Ｇ，Ｂ，Ｗいずれかのフィルタをモザイク状に配列した一枚の素子、すなわち単板型イメージセンサである。従ってカラー画像を生成する際には、各画素に対応するＲＧＢ画素値を生成するカラーコーディングとしてのデモザイク処理が必要となる。
【０００６】
図１（ｂ）に示すＲＧＢＷ配列では、図１（ａ）に示すＲＧＢ配列に比較して、Ｒ，Ｇ，Ｂ成分のサンプリングレートが低下する。この結果、カラー画像生成処理に際して、図１（ｂ）に示すＲＧＢＷ配列方の素子の取得データを用いた場合、図１（ａ）に示すＲＧＢ配列に比較して、偽色が発生しやすくなるという問題がある。また、ホワイト（Ｗ）の波長成分はＲ，Ｇ，Ｂすべての波長成分を含んでいるため、色収差の大きい光学レンズを用いると、単色成分のものと比べてＲＧＢ波長成分の集光率が落ち、解像度の低下を招くという問題もある。この問題点は画素の微細化が進むにつれて、更に顕著となる。
【０００７】
光学レンズの色収差に起因する解像度劣化の防止手法として、屈折率の異なるレンズを組み合わせて色収差の発生を抑えることが有効であるが、この場合、光学レンズの枚数が増えることによるコストが増大するという新たな問題が発生する。さらに、このような構成とすると、前述のＲＧＢ成分のサンプリングレート低下に起因する偽色の問題がより顕著となるという問題も発生する。
【０００８】
また、単板型イメージセンサの各画素は単一の色成分の情報しかもたないため離散的に取得されたＲ，Ｇ，Ｂ，Ｗ信号からカラー画像を得るために全画素対応のＲＧＢ画素値を求めるデモザイク処理が行われる。このデモザイク処理の際、局所領域においては色比率がほぼ一定に保たれることや強い色相関があることを仮定した補間処理が行われる。具体的には、ある画素の特定色の画素値を算出する際、周囲の画素値を用いて補間する方法が広く用いられる。この方法については、例えば特許文献３（特開２００９−１７５４４号公報）に記載がある。しかしながら、エッジ近傍では上記の仮定、すなわち局所領域における一定の色比率や強い色相関があるという仮定は成り立たない。この結果エッジ近傍に偽色が発生しやすくなるという問題がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】ＵＳ公開特許２００７／００２４８７９
【特許文献２】ＵＳ公開特許２００７／００２４９３４
【特許文献３】特開２００９−１７５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを適用したカラー画像生成処理において、偽色の少ない高品質なカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、
輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行うデータ変換処理部を有する画像処理装置にある。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記輝度信号の主成分となる色は白色または緑色である。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記データ変換処理部は、前記２次元画素配列信号を解析してエッジ情報を生成するエッジ検出部と、前記２次元画素配列信号を解析してテクスチャ情報を生成するテクスチャ検出部と、前記２次元画素配列信号を解析して画素変換処理に適用するパラメータを算出するパラメータ算出部と、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部を有する。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出部と、
前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出部と、
ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出部と、
前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
を有する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、補間処理に適用する画素位置をエッジ方向に沿った画素位置とする補間処理によりパラメータを生成する構成である。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりパラメータを生成する構成である。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりＷ画素位置に対してＲＧＢいずれかの画素の画素値を設定する仮画素設定部を有し、前記パラメータ算出部は、前記仮画素設定データを適用した補間処理によりパラメータを生成する構成である。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、エッジ方向が縦、横、左斜め上、右斜め上の４種類のエッジ方向に応じて、適用画素位置をエッジ方向に沿った画素位置に設定した補間処理により算出した補間画素値相当の複数のパラメータを生成し、前記ブレンド処理部は、縦、横、左斜め上、右斜め上の４種類のエッジ方向の強度比較を実行して、比較結果に応じて前記複数のパラメータのブレンド比率を変更したブレンド処理を実行する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、変換画素対応の縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＦｌａｔ）を算出し、さらに、エッジ方向度合い（ｒａｔｉｏＦｌａｔ）に基づいて、値が大きいほど斜め方向エッジより縦横方向エッジが強く、値が小さいほど斜め方向エッジが縦横方向エッジより強いことを示す縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出し、変換画素対応の縦横方向エッジが斜め方向エッジより強い場合は、エッジ方向を縦または横方向として設定して算出したパラメータのブレンド比率を高くし、変換画素対応の縦横方向エッジが斜め方向エッジより弱い場合は、エッジ方向を斜め方向として設定して算出したパラメータのブレンド比率を高くしたブレンド処理を実行する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ検出部は、前記テクスチャ情報として、テクスチャが少なく平坦度が高い画素領域については高い値を示し、テクスチャが多く平坦度が低い画素領域については低い値を示す各画素対応の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、前記パラメータ算出部は、前記補間画素値に対するコントラスト強調処理を実行したコントラスト強調処理適用パラメータと、前記補間画素値に対するコントラスト強調処理を実行しないコントラスト強調処理非適用パラメータを算出し、前記ブレンド処理部は、前記平坦度重みの大きい画素については、前記コントラスト強調処理非適用パラメータのブレンド比率を大きく設定し、前記平坦度重みの小さい画素については、前記コントラスト強調処理適用パラメータのブレンド比率を大きく設定したブレンド処理を実行する。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記エッジ検出部は、前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のエッジ情報を生成する構成であり、処理対象画素近傍のＷ画素の信号値勾配を算出して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成する。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ検出部は、記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のテクスチャ度合いを示すテクスチャ情報を生成する。
【００２３】
さらに、本発明の第２の側面は、
画像処理装置において画像信号処理を実行する画像処理方法であり、
エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出ステップと、
テクスチャ検出部が、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出ステップと、
パラメータ算出部が、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出ステップと、
ブレンド処理部が、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理ステップと、
を有する画像処理方法にある。
【００２４】
さらに、本発明の第３の側面は、
画像処理装置において画像信号処理を実行させるプログラムであり、
エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成させるエッジ検出ステップと、
テクスチャ検出部に、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成させるテクスチャ検出ステップと、
パラメータ算出部に、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出させるパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成させるパラメータ算出ステップと、
ブレンド処理部に、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定させるブレンド処理ステップと、
を実行させるプログラムにある。
【００２５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２７】
本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを入力して偽色の少ない高品質なカラー画像を生成するためのＲＧＢ配列データを生成することができる。具体的には、エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。
【図面の簡単な説明】
【００２８】
【図１】一般的なカラーフィルタで用いられる色配列としてのベイヤ配列と、本発明において適用するＲＧＢＷ配列の例について説明する図である。
【図２】本発明の一実施例における処理であるＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理について説明する図である。
【図３】本発明のＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理の個別の処理について説明する図である。
【図４】本発明のＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理の個別の処理について説明する図である。
【図５】本発明の画像処理装置の一実施例に係る撮像装置の構成例について説明する図である。
【図６】データ変換処理部の構成と処理について説明する図である。
【図７】図６に示すノイズ除去部２０１の実行する処理について説明する図である。
【図８】図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。
【図９】図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。
【図１０】図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。
【図１１】図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。
【図１２】図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。
【図１３】図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。
【図１４】図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。
【図１５】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図１６】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図１７】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図１８】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図１９】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図２０】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図２１】図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。
【図２２】図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。
【図２３】図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。
【図２４】図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。
【図２５】図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。
【図２６】図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の実行する処理について説明する図である。
【図２７】図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の実行する処理について説明する図である。
【図２８】図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の実行する処理について説明する図である。
【図２９】図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の実行する処理について説明する図である。
【図３０】図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の実行する処理について説明する図である。
【図３１】図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の実行する処理について説明する図である。
【図３２】図６に示すブレンド処理部２１１の実行する処理について説明する図である。
【図３３】図６に示すブレンド処理部２１１の実行する処理について説明する図である。
【図３４】図６に示すブレンド処理部２１１の実行する処理について説明する図である。
【図３５】図６に示すデータ変換処理部２００の実行する処理のシーケンスを説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
１．本発明の処理の概要について
２．撮像装置および画像処理装置の構成例および処理例について
３．データ変換処理部の処理の詳細について
３−１．ノイズ除去部の処理について
３−２．エッジ検出部の処理について
３−３．テクスチャ検出部の処理について
３−４．画素補間パラメータ算出部の処理について
３−５．ブレンド処理部の処理について
４．画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンス
【００３０】
［１．本発明の処理の概要について］
まず、図２を参照して本発明の撮像装置等の画像処理装置が実行する処理の概要について説明する。本発明の画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト(Ｗ：Ｗｈｉｔｅ)を含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
【００３１】
本発明の画像処理装置は、図２（１）に示すような、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを、図２（２）に示すＲＧＢ配列（例えばベイヤ配列）に変換する処理に適用するパラメータの算出処理を実行する。さらに、この変換処理に際して、偽色の発生を低下させるための処理を併せて実行する。
【００３２】
図２に示すように、ＲＧＢＷのカラー配列に設定されたＲＧＢＷの各画素の少なくとも一部を他の色（ＲＧＢのいずれか）へ変換または補正する処理を行う。具体的には、ＲＧＢＷ配列からＲＧＢベイヤ配列への変換処理において、以下の５つの変換や補正処理を実行する。
（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
（ｂ）Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
（ｃ）Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
（ｄ）Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
（ｅ）Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
【００３３】
上記の（ａ）〜（ｅ）の各変換処理は、ＲＧＢＷ配列におけるＲＧＢＷ各画素をＲＧＢ配列におけるＲＧＢ画素に変換するための画素値推定または補正処理として行われる。これらの処理を実行することで、図２（１）に示すＲＧＢＷのカラー配列から図２（２）に示すＲＧＢ配列を生成する。
【００３４】
以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
以下の実施例では、ホワイト（Ｗ）を持つＲＧＢＷ型カラー配列をＲＧＢ型カラー配列（ベイヤ配列）に変換するリモザイク処理を実行し、かつ、このリモザイク処理に際して偽色の発生を低減させる処理を実行する構成について説明する。
【００３５】
本発明の画像処理装置における画素変換処理は、ｎ×ｎ画素の矩形画素領域を入力画素単位として変換処理を行う。すなわち、ｎ×ｎ画素の中心にある１つの画素の変換画素値を決定するためにｎ×ｎ画素の矩形画素領域の画素情報を利用する。具体的には、例えば画像の５×５画素（幅５画素高さ５画素）単位、または７×７画素（幅７画素高さ７画素）単位で処理を行う。例えば、５×５画素を処理単位とした処理を行う場合、画像処理装置は、５×５画素単位で画素情報を入力し５×５画素の画素情報を用いて中心画素の変換画素値を決定する。５×５画素の中心画素は、ＲＧＢＷいずれかの画素であり、これらのＲＧＢＷを上記（ａ）〜（ｅ）の変換パターンに従って変換する。
【００３６】
以下の説明では、画素変換処理の単位とするｎ×ｎ画素の矩形画素を「入力画素単位」と称して説明する。上述の（ａ）〜（ｅ）の変換パターンの１つである（ａ）の処理、すなわち、
（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
この変換処理を行う場合、入力画素単位である５×５画素の画素パターンには、図３に示す４つの異なるパターン（ａ１）〜（ａ４）がある。
図３には、（ａ１）〜（ａ４）に、Ｗ画素が５×５画素の中心位置となる入力画素単位（処理単位）を示している。左側が、入力画素単位、右側が最終的な処理結果となるＲＧＢ配列データである。
【００３７】
５×５画素の中心位置がＷ画素となる入力には、図３に（ａ１）〜（ａ４）に示す４つの異なるパターンがある。このいずれかのパターンの５×５画素を入力した場合、
（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
この処理を実行する。
なお、図３（ａ１）〜（ａ４）の右側は、最終的な変化結果を示すものであり、図３（ａ１）〜（ａ４）の左側に示す入力画素単位に対しては、中心画素ＷをＧ画素に変換する処理のみが実行される。その後、処理単位を１つずつずらして、変換処理（上記（ａ）〜（ｅ）のいずれかの処理）を実行して図３（ａ１）〜（ａ４）の右側に示す最終的な変化結果が得られる。
【００３８】
また、上述の（ａ）〜（ｅ）の変換パターンの（ｂ）〜（ｅ）の処理、すなわち、
（ｂ）Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
（ｃ）Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
（ｄ）Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
（ｅ）Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これらの変換処理を行う場合の、入力画素単位（処理単位）と変換処理の最終出力との関係は、図４（ｂ）〜（ｅ）に示す通りである。
【００３９】
［２．撮像装置および画像処理装置の構成例および処理例について］
図５、図６を参照して、本発明の一実施例に係る撮像装置および画像処理装置の構成例及び処理例について説明する。
図５は、本発明の一実施例に係る撮像装置１００の構成例を示す図である。撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。なお、撮像装置は画像処理装置の一態様である。画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図３に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。具体的には撮像装置１００は、スチルカメラ、ビデオカメラなどであり、画像処理装置１００にはＰＣなど画像処理の可能な情報処理装置が含まれる。
【００４０】
以下では、撮像装置１００を、本発明の画像処理装置の代表例として説明する。図５に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（ｂ）や図２（１）を参照して説明したホワイト（Ｗ）を持つＲＧＢＷ配列１８１を持つフィルタを備えた構成である。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
撮像素子（イメージセンサ）１１０は、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
とＲＧＢのすべてを透過するホワイト(Ｗ)、
これら４種類の分光特性を持つフィルタを備えた撮像素子である。
【００４１】
このＲＧＢＷ配列１８１フィルタを持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。
【００４２】
撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０のデータ変換処理部２００に入力される。
データ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
この変換／補正処理に際して、偽色を抑制するための処理を併せて実行する。
【００４３】
データ変換処理部２００の生成したＲＧＢ配列１８２、すなわちベイヤ配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、ＲＧＢ信号処理部２５０入力される。
【００４４】
ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。
【００４５】
制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。
【００４６】
データ変換処理部２００の詳細構成について図６を参照して説明する。データ変換処理部２００は、ＲＧＢＷのカラー配列からＲＧＢ配列１８２への変換処理を実行する。さらに、この処理に際して偽色を抑制するための処理を併せて実行する。
【００４７】
データ変換処理部２００は、図６に示すように、ノイズ除去部２０１、第１〜第５画素補間パラメータ算出部２０２〜２０８、エッジ検出部２０９、テクスチャ検出部２１０、ブレンド処理部２１１を有する。データ変換処理部２００は、処理画像であるＲＧＢＷ配列１８１から、ｎ×ｎ画素の処理単位で順次、画素値を入力して、ｎ×ｎ画素の中央の画素の変換画素値を決定して出力する。全ての画素の変換処理が完了すると、ＲＧＢ配列１８２が完成し、図５に示すＲＧＢ信号処理部２５０に提供される。
【００４８】
ノイズ除去部２０１は、入力画素単位の中心にあるＷ画素に対してノイズ除去を実行する。
第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、Ｗ画素をＧ画素に変換する処理に適用するパラメータの算出処理を実行する。
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、Ｇ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＧ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する。
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、Ｒ画素またはＢ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＲまたはＢ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
【００４９】
エッジ検出部２０９は、Ｗ画素を用いてエッジの方向検出処理を実行する。
テクスチャ検出部２１０は、Ｗ画素を用いてテクスチャの検出処理を実行する。
ブレンド処理部２１１は、上記の各処理で出力された画素をブレンドする処理を実行する。
【００５０】
［３．データ変換処理部の処理の詳細について］
次に、図６に示すデータ変換処理部２００を構成する各処理部が実行する処理の詳細について説明する。
（３−１．ノイズ除去部の処理について）
まず、ノイズ除去部２０１の処理について図７を参照して説明する。ノイズ除去部２０１は、入力画素単位（５×５画素）の中心画素がＷ画素であるデータに対してノイズ除去処理を実行する。ノイズ除去は、入力画素単位の中心にあるＷ画素に対するノイズ低減画素値の算出処理として行われる。
【００５１】
ノイズ除去の手法としては、様々な手法が適用可能である。ここでは、バイラテラルフィルタを用いたノイズ低減処理例について図７を参照して説明する。図７は、入力画素単位が５ｘ５画素の場合を示し、中心にあるＷ画素（画素ｐ）に対してノイズ除去を適用した例を説明する図である。
【００５２】
図７には、
（ａ）処理対象データ
（ｂ）ノイズ低減画素値算出式
（ｃ）関数φ（ｒ）の線形近似例
これらを示している。
【００５３】
（ａ）処理対象データに示すように、ノイズ除去部２０１は、ＲＧＢＷ配列を持つ入力画素単位（５×５画素）の中心画素（ｐ）がＷ画素である場合に処理を行う。図に示す入力画素単位（５×５画素）のグレー部分がＷ画素であり、その他の白い部分はＲＧＢ画素のいずれかである。なお、以下の説明に用いる図においてもグレー部分がＷ画素であり、その他の白い部分はＲＧＢ画素のいずれかであるものとする。
【００５４】
ノイズ除去部２０１は、処理対象データ３０１の中心画素（ｐ）であるＷ画素の画素値Ｉ（ｐ）と入力画素単位（５×５画素）に含まれる画素の画素値Ｉ（ｑ）を用いて、図７（２）に示すノイズ低減画素値算出式に従ってノイズ低減画素値ＩＮＲ（ｐ）を算出する。すなわち、以下の式（式１）に従ってノイズ低減画素値ＩＮＲ（ｐ）を算出する。
【００５５】
【数１】
0005454075.tif 000002
・・・（式１）
【００５６】
上記式において、
Ωｐは、処理対象データ３０１である入力画素単位（５×５画素）に含まれる画素の集合であり、Ｉ（ｑ）はその画素値、Ｉ（ｐ）は中心画素ｐ（＝Ｗ画素）の画素値である。
関数φ（ｒ）は、一般的には指数関数を用いる。しかし、演算量を抑えるために、図７（３）に示すように線形近似した関数としてもよい。
図７（３）に示す線形近似は、閾値としてＴｈ１＝２．０、Ｔｈ２＝３．０を設定し、
ｒ＝０〜Ｔｈ１（２．０）→φ（ｒ）＝１．０
ｒ＝Ｔｈ１（２．０）〜Ｔｈ２（３．０）→φ（ｒ）＝１．０〜０（線形変化）
ｒ＝Ｔｈ２以上→φ（ｒ）＝０
このような設定の線形近似例である。
【００５７】
ノイズ除去部２０１は、このように、バイラテラルフィルタを適用して入力画素単位（５×５画素）の中心のＷ画素のノイズ低減画素値ＩＮＲ（ｐ）を上記式（式１）に従って算出する。算出したノイズ低減Ｗ画素値（ＩＮＲ（ｐ））は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２に出力される。
【００５８】
なお、図７を参照して説明したバイラテラルフィルタを適用した処理はノイズ除去処理の一例であり、ノイズ除去部２０１は、図７を参照して説明したバイラテラルフィルタを適用した処理に限らず、その他のノイズ除去方式を用いた構成としてもよい。
【００５９】
（３−２．エッジ検出部の処理について）
次に、エッジ検出部２０９の処理について説明する。エッジ検出部２０９は、入力信号であるＲＧＢＷ配列に含まれる離散的なホワイト（Ｗ）信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成してブレンド処理部２１１、さらに複数の画素補間パラメータ算出部に出力する。
【００６０】
図８以下を参照してエッジ検出部２０９の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する。
【００６１】
エッジ検出部２０９は、入力するＲＧＢＷ配列１８１の信号中、ホワイト（Ｗ）信号のみを利用して、エッジ方向とエッジ強度を判定する。エッジ検出部２０９は、入力データに対して７×７画素の領域単位でエッジ検出処理を実行する。エッジ検出部２０９は、７×７画素の領域を１画素ずつずらしながら順次、エッジ検出処理を実行する。１つの７×７画素領域に対する処理によって７×７画素領域の中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を取得する。各画素対応のエッジ情報は、ブレンド処理部２１１、および第１〜第５画素補間パラメータ算出部に出力される。
【００６２】
エッジ検出処理には様々な手法が適用可能である。図８、図９を参照してその１つの手法について説明する。以下に説明する方法では、７×７画素領域の中心近傍の４×４画素を利用する。
【００６３】
図８に示すように、処理対象とする７×７画素の中心画素は、
（ａ）Ｗ画素である場合と、
（ｂ）Ｗ以外の画素である場合、
これらの２通りがある。なお、図８においてグレーで示す画素がＷ画素であり、その他はＲＧＢいずれかの画素に対応する。
これら（ａ），（ｂ）２種類のケースに対して、それぞれ異なる算出式を用いてエッジ方向が、水平、垂直、右斜め上、左斜め上の４方向のいずれであり、またその強度を推定するためのエッジ判定処理を行う。
【００６４】
具体的な処理について図９を参照して説明する。
図９には、
（ａ）中心画素がＷ画素の場合
（ｂ）中心画素がＷ以外の画素の場合
これら（ａ），（ｂ）の場合におけるエッジ方向およびエッジ強度の判定処理に適用する算出式を示している。適用する算出式は画像の特定方向の画素値の勾配を算出する式であり、以下の各値の算出式である。
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらのｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは、それぞれ異なる方向の画素値の勾配（差分）の絶対値の平均値に相当する。以下、具体的な算出処理について説明する。
【００６５】
（ａ）中心画素がＷ画素の場合の処理について
まず、中心画素がＷ画素の場合の処理について図９（ａ）を参照して説明する。図９（ａ）には（ａ１）〜（ａ４）に中心画素がＷ画素の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
二重丸［◎］で示す位置が７×７画素における中心画素位置である。
また、丸［○］で示す位置がエッジ重心位置である。
【００６６】
中心画素がＷ画素の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式（式２）によって算出する。
【００６７】
【数２】
0005454075.tif 000003
・・・（式２）
【００６８】
なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図９に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。
【００６９】
ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。
【００７０】
ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。
【００７１】
ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ３）に示すように、４×４画素領域の中央部にある１つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。
【００７２】
ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ４）に示すように、４×４画素領域の中央部にある１つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。
【００７３】
水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を判定することができる。
【００７４】
（ｂ）中心画素がＷ画素以外の場合の処理について
次に、中心画素がＷ画素以外の場合の処理について図９（ｂ）を参照して説明する。図９（ｂ）には（ｂ１）〜（ｂ４）に中心画素がＷ画素以外の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
二重丸［◎］で示す位置が７×７画素における中心画素位置である。
また、丸［○］で示す位置がエッジ重心位置である。
【００７５】
中心画素がＷ画素以外の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式（式３）によって算出する。
【００７６】
【数３】
0005454075.tif 000004
・・・（式３）
【００７７】
なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図９に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。
【００７８】
ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。
【００７９】
ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。
【００８０】
ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ３）に示すように、４×４画素領域の中央部にある２つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。
【００８１】
ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ４）に示すように、４×４画素領域の中央部にある２つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。
【００８２】
水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を推定することができる。
【００８３】
エッジ検出部２０９は、このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値に基づいて各画素対応のエッジ情報（エッジ方向とエッジ強度）を取得する。取得したエッジ情報はブレンド処理部２１１に出力される。
なお、上述のエッジの方向・強度検出方法は一例であり、他のエッジ検出方法を用いた構成としてもよい。例えば、図９を参照して説明したエッジ検出方法は極めて狭い範囲の特定の画素値情報を用いており、ノイズが大きいときには誤判定を起こすことが予想される。この誤判定を防止したエッジ情報の取得処理例について、図１０を参照して説明する。
【００８４】
図１０に示すエッジ情報取得処理例は、図９を参照して説明した算出値である勾配絶対値平均を加重加算する処理を用いた手法である。図１０には、
（１）水平・垂直成分エッジ情報取得処理例
（２）斜め成分エッジ情報取得処理例
これらの各処理例を示している。
【００８５】
図１０（１）、(２)には７×７画素の画像データを示している。このデータは、エッジ検出部２０９が処理対象とするデータであり、図９に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この７×７画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。
【００８６】
図１０（１）に示す水平・垂直成分エッジ情報取得処理例について説明する。図１０（１）には１６個のエッジ重心を示している。これらは、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。
【００８７】
図１０（１）に示す７×７画素領域に、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３０２から右下端の４×４画素領域３０４まで１６個ある。図１０（１）に示す１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示すと同様の位置のエッジ重心である。
【００８８】
水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（０，０）３０１は、４×４の画素領域３０２に対応するエッジ重心となる。４×４の画素領域３０２を図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（０，０）３０１は、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。
【００８９】
また、エッジ重心（３，３）３０３は、４×４の画素領域３０４に対応して設定されるエッジ重心である。４×４の画素領域３０４を図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（３，３）３０３は、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。
【００９０】
図１０（１）に示す７×７画素領域には、４×４の画素領域とエッジ重心の組が１６個設定される。これら１６個の組に対して、図９（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値をそれぞれ１６個ずつ算出することができる。
【００９１】
エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
ｇｒａｄＨｉ，ｊ
ｇｒａｄＶｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
これらを、以下の算出式（式４）を用いて算出する。
【００９２】
【数４】
0005454075.tif 000005
・・・（式４）
【００９３】
上記式においてｗｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図１０（１）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図１０（１）には重み係数の一例として（４／３６）〜（１／３６）の重み係数を１６個のエッジ重心に対応付けた例を示している。
【００９４】
次に、図１０（２）に示す斜め成分エッジ情報取得処理例について説明する。図１０（２）には２５個のエッジ重心を示している。これらは、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。
【００９５】
７×７画素領域に、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３１２から右下端の４×４画素領域３１４まで１６個ある。図１０（２）に示す２５個のエッジ重心中、図１０（２）に示す点線矩形枠３１５内の１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すと同様の位置のエッジ重心である。
【００９６】
水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３，４のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（１，１）３１１は、４×４の画素領域３１２に対応するエッジ重心となる。４×４の画素領域３１２を図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（１，１）３１１は、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。
【００９７】
また、エッジ重心（４，４）３１３は、４×４の画素領域３１４に対応して設定されるエッジ重心である。４×４の画素領域３１４を図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（４，４）３１３は、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。
【００９８】
図１０（２）には点線矩形枠３１５の外側にもエッジ重心を示している。ｉ＝０、ｊ＝０の位置にある、
（ｉ，ｊ）＝（０，０）〜（０，４）と、（１，０）〜（４，０）
これらのエッジ重心である。
図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すように、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する最に利用する画素位置は、エッジ重心周りの８画素のみである。従って、図１０（２）に示すｉ＝０、ｊ＝０の位置にエッジ重心を設定した場合でも、ｇｒａｄＡ、ｇｒａｄＶを算出することができる。
【００９９】
従って、７×７画素領域を用いて、異なる位置にエッジ重心を設定した算出可能なｇｒａｄＡ、ｇｒａｄＤは図１０（２）に示す２５個のエッジ重心位置に対応する２５個のデータとなる。
【０１００】
図１０（２）に示す７×７画素領域から、図９（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値をそれぞれ２５個ずつ算出することができる。
【０１０１】
エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
ｇｒａｄＡｉ，ｊ
ｇｒａｄＤｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらを、以下の算出式（式５）を用いて算出する。
【０１０２】
【数５】
0005454075.tif 000006
・・・（式５）
【０１０３】
上記式においてｗｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図１０（２）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図１０（２）には重み係数の一例として（１６／１００）〜（１／１００）の重み係数を２５個のエッジ重心に対応付けた例を示している。
【０１０４】
図１０を参照して説明した処理によって算出したエッジ情報、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤは、７×７画素領域に含まれる多数の画素値（Ｗ画素値）を利用して算出されたエッジ情報である。
従って、図９を参照して説明した少数の画素情報を適用して算出したエッジ情報に比較して、ノイズ等による誤った結果を発生させる可能性が低減される。
なお、上記式および図１０に示す重み係数ｗｉｊの設定例は一例であり、他の平均化係数を用いることも可能である。
【０１０５】
なお、図１０を参照して説明した例は、７×７画素の領域を用いて勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する処理例であるが、例えば、図１１に示すように、５×５画素の領域を用いて勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する構成としてもよい。
【０１０６】
図１１には、図１０と同様、
（１）水平・垂直成分エッジ情報取得処理例
（２）斜め成分エッジ情報取得処理例
これらの各処理例を示している。
【０１０７】
図１１（１）、(２)には５×５画素の画像データを示している。このデータは、エッジ検出部２０９が処理対象とするデータであり、図９に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この５×５画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。
【０１０８】
図１１（１）に示す（１）水平・垂直成分エッジ情報取得処理例について説明する。図１１（１）に示す５×５画素領域には、４×４の画素領域とエッジ重心の組が４個設定される。これら４個の組に対して、図９（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値をそれぞれ４個ずつ算出することができる。
【０１０９】
エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
ｇｒａｄＨｉ，ｊ
ｇｒａｄＶｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
これらを、前述した式（式４）を用いて算出する。
【０１１０】
次に、図１１（２）に示す斜め成分エッジ情報取得処理例について説明する。図１１（２）には９個のエッジ重心を示している。これらは、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。
【０１１１】
図１１（２）に示す５×５画素領域から、図９（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値をそれぞれ９個ずつ算出することができる。
【０１１２】
エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
ｇｒａｄＡｉ，ｊ
ｇｒａｄＤｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらを、前述の算出式（式５）を用いて算出する。
【０１１３】
このように、勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する処理においては、７×７画素領域、あるいは５×５画素領域など、様々な領域を利用することが可能である。
【０１１４】
エッジ検出部２０９は、このようにして求めたエッジ情報、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）をブレンド処理部２１１、および複数の画素補間パラメータ算出部に出力する。
【０１１５】
（３−３．テクスチャ検出部の処理について）
次に、テクスチャ検出部２１０の処理について説明する。テクスチャ検出部２１０は、入力信号であるＲＧＢＷ配列に含まれる離散的なホワイト（Ｗ）画素を用いてテクスチャの検出処理を実行する。すなわち、各画素対応のテクスチャ情報を検出して検出情報をブレンド処理部２１１に出力する。
、
具体的には、各画素の近傍画像領域がテクスチャの多い（平坦度の低い）画像であるか、テクスチャの少ない（平坦度の高い）画像であるかを検出してこの検出情報を各画素対応のテクスチャ情報としてブレンド処理部２１１に出力する。
【０１１６】
テクスチャ検出部２１０の処理について、図１２以下を参照して説明する。
テクスチャ検出部２１０は、まず、ＲＧＢＷ配列画像を構成する入力画素単位（５×５画素）毎にＷ画素の平均値Ｗａｖｅを算出する。
【０１１７】
Ｗ画素平均値Ｗａｖｅの算出処理には例えば平滑化フィルタを用いる。入力画素単位の中心がＷ画素の場合は、図１２に示すような係数を設定したフィルタでＷ画素の平均値Ｗａｖｅを求め、入力画素単位の中心がＷ画素でない場合は、図１３に示すような係数を設定したフィルタでＷ画素の平均値Ｗａｖｅを求める。
【０１１８】
図１２を参照して入力画素単位の中心がＷ画素の場合の処理について説明する。中心画素がＷ画素となる５×５画素の入力画素単位３２１のＷ画素位置を中心とする９画素中のＷ画素値に、フィルタ３２２の対応画素位置のフィルタ係数を乗算する。さらに各乗算結果の加算値を算出する。この加算結果をＷ信号の平均値Ｗａｖｅとする。この平均値Ｗａｖｅは、入力画素単位３２１の中心Ｗ画素に対する平均値Ｗａｖｅとして算出される。テクスチャ検出部２１０は、さらにこの画素対応の平均値Ｗａｖｅを用いて、中心Ｗ画素に対応するテクスチャ度合いの指標値としての平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。この算出処理については後述する。
【０１１９】
なお、図１２に示すフィルタ３２２のフィルタ係数は、５×５画素の入力画素単位３２１の中心Ｗ画素〜周囲Ｗ画素について（４／８〜１／８）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよく、いわゆるローパスフィルタであれば係数はこの限りではない。また、９画素より広い領域を利用した構成としてもよい。
【０１２０】
次に、図１３を参照して入力画素単位の中心がＷ画素以外の場合の処理について説明する。中心画素がＷ画素以外となる５×５画素の入力画素単位３３１の中心画素位置を中心とする９画素中のＷ画素値に、フィルタ３３２の対応画素位置のフィルタ係数を乗算する。さらに各乗算結果の加算値を算出する。この加算結果をＷ信号の平均値Ｗａｖｅとする。算出された平均値Ｗａｖｅは、入力画素単位３３１の中心画素（ＲＧＢのいずれか）に対する平均値Ｗａｖｅとして算出される。
【０１２１】
なお、図１３に示すフィルタ３３２のフィルタ係数は、５×５画素の入力画素単位３３１の中心画素周りの周囲Ｗ画素について各々（１／４）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよく、いわゆるローパスフィルタであれば係数はこの限りではない。また、９画素より広い領域を利用した構成としてもよい。
【０１２２】
テクスチャ検出部２１０は、このようにして、入力画素単位の中心画素がＷ画素であるかＷ画素以外のＲＧＢ画素であるかに応じて、図１２に示すフィルタ３２２、または図１３に示すフィルタ３３２を適用して入力画素単位の中心画素対応のＷ画素平均値Ｗａｖｅを算出する。
【０１２３】
テクスチャ検出部２１０は、算出したＷ画素平均値Ｗａｖｅを用いて、中心画素ｐ＝（ｘ，ｙ）に対応するテクスチャ度：ＷＴＸ（ｐ）を以下の算出式（式６）を用いて算出する。
【０１２４】
【数６】
0005454075.tif 000007
・・・（式６）
【０１２５】
上記式（式６）において、
Ωｐは、処理対象データである入力画素単位（５×５画素）に含まれる画素の集合、
Ｉ（ｑ）はその画素値、
Ｉａｖｅ（ｐ）は、図１２または図１３のフィルタを適用して算出されるＷ画素平均値（Ｗａｖｅと同一値）、
φ（ｒ）は、予め規定した重み関数、
である。
【０１２６】
なお、関数φ（ｒ）は、一般的には指数関数を用いる。しかし、演算量を抑えるために、先に説明した図７（３）に示すような線形近似した関数を利用してもよい。
図７（３）に示す線形近似は、閾値としてＴｈ１＝２．０、Ｔｈ２＝３．０を設定し、
ｒ＝０〜Ｔｈ１（２．０）→φ（ｒ）＝１．０
ｒ＝Ｔｈ１（２．０）〜Ｔｈ２（３．０）→φ（ｒ）＝１．０〜０（線形変化）
ｒ＝Ｔｈ２以上→φ（ｒ）＝０
このような設定の線形近似例である。
【０１２７】
さらに、テクスチャ検出部２１０は、上記式に従って算出した中心画素ｐに対応するテクスチャ度：ＷＴＸ（ｐ）を適用して、以下の式（式７）に従って中心画素ｐ＝（ｘ，ｙ）に対応する平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。
ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆｆｌａｔ（ＷＴＸ（ｐ））
・・・（式７）
【０１２８】
上記式（式７）において、
ｆｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数を用いることができる。
図１４に示す線形近似関数は、閾値として０＜Ｔｈ０（ＦＬＡＴ＿ＬＩＭＩＴ０）＜Ｔｈ１（ＦＬＡＴ＿ＬＩＭＩＴ１）＜１を設定し、
ｒ＝０〜Ｔｈ０→ｆｆｌａｔ（ｒ）＝０
ｒ＝Ｔｈ０〜Ｔｈ１→ｆｆｌａｔ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１以上→ｆｆｌａｔ（ｒ）＝１
このような設定とした線形近似関数である。
【０１２９】
なお、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高いことを示す。
【０１３０】
テクスチャ検出部２１０は、このようにして算出した平坦度重み（ｗｅｉｇｈｔＦｌａｔ）をブレンド処理部２１１に出力する。
【０１３１】
（３−４．画素補間パラメータ算出部の処理について）
次に、図６のデータ変換処理部２００内の第１〜第５画素補間パラメータ算出部２０２，２０４，２０５，２０７，２０８、および、第１〜第２仮画素設定部２０３，２０６の処理について説明する。これらの各部は以下の処理を実行する。
【０１３２】
第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、Ｗ画素をＧ画素に変換する処理に適用するパラメータの算出処理を実行する。
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、Ｇ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＧ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する。
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、Ｒ画素またはＢ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＲまたはＢ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
【０１３３】
（３−４−１．第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理）
まず、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理について説明する。第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、ＲＧＢＷ配列１８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。
【０１３４】
なお、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、７×７または５×５の画素領域を処理単位（入力画素単位）として処理を行う。
まず、７×７の画素領域を処理単位（入力画素単位）として処理を行う場合について図１５以下を参照して説明する。
【０１３５】
第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、まず、処理単位の７×７画素領域におけるＷ信号の低周波成分ｍＷを求める。
図１５に示すように、７×７画素の入力画素単位４０１に対して図１５に示すフィルタ４１１を適用して、７×７画素の入力画素単位４０１に対応する低周波成分ｍＷを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力画素単位４０１の中心にある変換対象画素４０２である。図１５に示す入力画素単位４０１においてグレーで示す画素がＷ画素である。その他はＲＧＢ画素である。同様に、図１５に示すフィルタ４１１においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素対応位置である。なお、以下の図面においてもＷ画素またはＷ画素対応位置はグレーで示し、ＲＧＢ画素位置または対応位置は白で示す。
【０１３６】
フィルタ４１１は、変換対象画素対応位置４１２のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（８／５２〜１／５２）の各係数を設定している。このフィルタ４１１を適用して、低周波成分ｍＷを算出する。７×７画素の入力画素単位４０１のＷ画素位置の画素値に、フィルタ４１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。
【０１３７】
なお、図１５に示すフィルタ４１１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１５に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。
【０１３８】
次に、図１６、図１７を参照してＧ信号の低周波成分ｍＧの算出処理について説明する。Ｇ信号の低周波成分ｍＧの算出処理においては、７×７画素の入力画素単位４０１の構成およびエッジ方向に応じて異なるフィルタを適用する。
【０１３９】
具体的には、図１６、図１７に示すように、
（ａ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が横（ｈ）方向の場合
（ｂ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が縦（ｖ）方向の場合
（ｃ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が横（ｈ）方向の場合
（ｄ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が縦（ｖ）方向の場合
これらの４種類のパターンに応じて、図１６、図１７に示すフィルタ４２１，４２２，４２５，４２６を使い分ける。
【０１４０】
これらのフィルタの適用により、７×７画素の入力信号４０１に対応する低周波成分ｍＧを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力信号４０１の中心にある変換対象画素４０２である。
【０１４１】
（ａ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図１６（ａ）に示すような係数設定のフィルタ４２１を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２１の中心は、変換対象画素対応位置４２３である。
（ｂ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図１６（ｂ）に示すような係数設定のフィルタ４２２を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２２の中心は、変換対象画素対応位置４２４である。
【０１４２】
（ｃ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図１７（ｃ）に示すような係数設定のフィルタ４２５を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２５の中心は、変換対象画素対応位置４２７である。
（ｄ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図１７（ｄ）に示すような係数設定のフィルタ４２６を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２６の中心は、変換対象画素対応位置４２８である。
【０１４３】
適用するフィルタのいずれも、変換対象画素対応位置に近いＧ画素対応位置のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタとして設定される。係数として（１／２０〜４／２０）の各係数を設定している。これらのフィルタ４２１，４２２，４２５，４２６のいずれかを適用して、低周波成分ｍＧを算出する。７×７画素の入力画素単位４０１のＧ画素位置の画素値に、フィルタ４２１，４２２，４２５，４２６のいずれかのフィルタ係数を乗算して、各乗算結果の加算値をＧ信号の低周波成分ｍＧとして算出する。
【０１４４】
なお、図１６、図１７に示すフィルタ４２１，４２２，４２５，４２６のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。
【０１４５】
第１画素補間パラメータ算出部２０２は、このように、Ｇ画素への変換対象となるＷ画素を中心画素として持つ７×７画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧを算出する。
【０１４６】
このようにして算出されたｍＷとｍＧの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＧの画素値比率の対応関係は図１８のグラフに示す対応関係となる。図１８のグラフは横軸がＷ画素値、縦軸がＧ画素値である。画像の特定の狭い局所領域では、このＷ画素値とＧ画素値の比率は一定であるとすると、図１８に示す直線（ラインＬ１)のような比例関係にあると仮定できる。
【０１４７】
この仮定に従うと、入力画素単位４０１の中心Ｗ画素、すなわち、変換対象画素位置のＷ信号の画素値をｗとした場合、その変換対象画素位置に設定すべきＧ信号の画素値ＧｏｎＷは、以下の式に従って算出できる。
ＧｏｎＷ＝（ｍＧ／ｍＷ）ｗ
これは、Ｗ画素値とＧ画素値の局所領域では比率が一定であることを仮定した画素値推定方法である。
【０１４８】
なお、ｍＷは、図１５を参照して説明した処理によって算出されるＷ信号の低周波成分ｍＷである。
ｍＧは、図１６、図１７を参照して説明した処理によって算出されるＧ信号の低周波成分ｍＧである。ｍＧは、入力画素単位４０１の構成、エッジ方向に応じて異なる値が適用される。
【０１４９】
図１８に示す直線（ラインＬ１)は、Ｗ画素値とＧ画素値の局所領域では比率が一定であることの仮定に基づくラインである。画素値変換処理に際してコントラスト強調処理を実行する場合は、図１８に示す直線（ラインＬ２)のようなラインを適用してもよい。ｋは、コントラスト強調処理調整パラメータである。
【０１５０】
コントラスト強調処理を適用する場合の変換対象Ｗ画素に設定するＧ画素の画素値は以下のように算出する。
変換対象画素位置のＷ信号の画素値をｗ、変換対象画素位置に設定すべきＧ信号の画素値をＧｏｎＷとする。変換後のＧ画素値ＧｏｎＷは以下の式に従って算出できる。
ＧｏｎＷ＝ｆｃｏｎｔｒａｓｔ（ｍＧ，ｍＷ，ｗ，ｋ）
ｆｃｏｎｔｒａｓｔ（ｍＧ，ｍＷ，ｗ，ｋ）
＝ｋ（ｍＧ／ｍＷ）（ｗ−ｍＷ）＋ｍＧ）・・・（≧０）
＝０・・・（＜０）
【０１５１】
なお、ｋはコントラスト強調処理調整パラメータ（ｋ＝１でコントラスト強調なし）である。
ｍＷは、図１５を参照して説明した処理によって算出されるＷ信号の低周波成分ｍＷである。
ｍＧは、図１６、図１７を参照して説明した処理によって算出されるＧ信号の低周波成分ｍＧである。ｍＧは、入力画素単位４０１の構成、エッジ方向に応じて異なる値（ｍＧ＿ｈ，ｍＧ＿ｖ）が適用される。
【０１５２】
第１画素補間パラメータ算出部２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
【０１５３】
なお、
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用して算出する値である。
一方、
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用しないで算出する値である。
第１画素補間パラメータ算出部２０２は、これらの補間パラメータを算出してブレンド処理部２１１に出力する。
ブレンド処理部は、これらのパラメータを適用したブレンド処理を実行して、最終的なＧ画素値、すなわちＲＧＢＷ配列におけるＷ画素位置に設定するＧ画素値を決定する。このブレンド処理については後述する。
【０１５４】
なお、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、前述したように７×７または５×５の画素領域を処理単位（入力画素単位）として処理を行う。上述した説明は７×７の画素領域を処理単位（入力画素単位）として処理を行う場合についての説明であったが、５×５の画素領域を処理単位（入力画素単位）として処理を行う場合は、Ｗ信号の低周波成分ｍＷの算出および、Ｇ信号の低周波成分ｍＧの算出に適用するフィルタの設定が異なる、
【０１５５】
５×５の画素領域を処理単位（入力画素単位）として処理を行う場合の、Ｗ信号の低周波成分ｍＷの算出および、Ｇ信号の低周波成分ｍＧの算出に適用するフィルタの構成例を図１９〜図２１を参照して説明する。
【０１５６】
図１９に示すように、５×５画素の入力画素単位４３１に対して図１９に示すフィルタ４４１を適用して、５×５画素の入力画素単位４３１に対応する低周波成分ｍＷを算出する。Ｇ画素に変換する対象となるＷ画素は、５×５画素の入力画素単位４３１の中心にある変換対象画素４３２である。図１９に示す入力画素単位４３１においてグレーで示す画素がＷ画素である。その他はＲＧＢ画素である。同様に、図１９に示すフィルタ４４１においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素対応位置である。
【０１５７】
フィルタ４４１は、変換対象画素対応位置４４２のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（４／３２〜１／３２）の各係数を設定している。このフィルタ４４１を適用して、低周波成分ｍＷを算出する。５×５画素の入力画素単位４３１のＷ画素位置の画素値に、フィルタ４４１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。
【０１５８】
なお、図１９に示すフィルタ４４１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１９に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。
【０１５９】
次に、図２０、図２１を参照してＧ信号の低周波成分ｍＧの算出処理について説明する。
（ａ）入力画素単位４３１の中心Ｗ画素の左にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図２０（ａ）に示すような係数設定のフィルタ４５１を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５１の中心は、変換対象画素対応位置４５３である。
（ｂ）入力画素単位４３１の中心Ｗ画素の左にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図２０（ｂ）に示すような係数設定のフィルタ４５２を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５２の中心は、変換対象画素対応位置４５４である。
【０１６０】
（ｃ）入力画素単位４３１の中心Ｗ画素の右にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図２１（ｃ）に示すような係数設定のフィルタ４５５を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５５の中心は、変換対象画素対応位置４５７である。
（ｄ）入力画素単位４３１の中心Ｗ画素の右にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図２１（ｄ）に示すような係数設定のフィルタ４５６を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５６の中心は、変換対象画素対応位置４５８である。
【０１６１】
適用するフィルタのいずれも、変換対象画素対応位置に近いＧ画素対応位置のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタとして設定される。係数として（１／８〜２／８）の各係数を設定している。これらのフィルタ４５１，４５２，４５５，４５６のいずれかを適用して、低周波成分ｍＧを算出する。５×５画素の入力画素単位４３１のＧ画素位置の画素値に、フィルタ４５１，４５２，４５５，４５６のいずれかのフィルタ係数を乗算して、各乗算結果の加算値をＧ信号の低周波成分ｍＧとして算出する。
【０１６２】
なお、図２０、図２１に示すフィルタ４５１，４５２，４５５，４５６のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。
【０１６３】
５×５画素領域を処理単位とした場合、第１画素補間パラメータ算出部２０２は、このように、Ｇ画素への変換対象となるＷ画素を中心画素として持つ５×５画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧを算出する。
【０１６４】
Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧ算出後の処理は、前述の７×７の処理単位とした場合と同様である。すなわち、第１画素補間パラメータ算出部２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
【０１６５】
（３−４−２．第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理）
次に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理について説明する。第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図６に示す構成図から理解されるように、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の前段に設定されている。
【０１６６】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５はいずれもＧ画素をＲまたはＢ画素に変換するためのパラメータを算出する。第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、これらの処理に先行して、ＲＢ画素に隣接するＷ画素位置を仮のＲ画素（Ｒ'）またはＢ画素（Ｂ'）に変換する処理を実行する。
【０１６７】
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。
【０１６８】
図２２に示すように、５×５画素の入力画素単位５０１に対して図２２に示すフィルタ５１１〜５１３を適用して、５×５画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。５×５画素の入力画素単位５０１の中心画素が変換対象画素である。この場合は、入力画素単位５０１は、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５に対する入力であり、これらは、Ｇ画素をＲまたはＢ画素に変換するためのパラメータを算出する処理部であるので、入力画素単位５０１の中心画素はＧ画素である。
【０１６９】
フィルタ５１１は係数設定部がＷ画素対応位置であり、係数として（１／１６〜２／１６）の各係数を設定している。５×５画素の入力画素単位５０１のＷ画素位置の画素値に、フィルタ５１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。
【０１７０】
フィルタ５１２は係数設定部がＲ画素対応位置であり、係数として（１／４）の各係数を設定している。５×５画素の入力画素単位５０１のＲ画素位置の画素値に、フィルタ５１２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＲ'として算出する。
【０１７１】
フィルタ５１３は係数設定部がＢ画素対応位置であり、係数として（１／４）の各係数を設定している。５×５画素の入力画素単位５０１のＢ画素位置の画素値に、フィルタ５１３の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＢ信号の低周波成分ｍＢ'として算出する。
【０１７２】
次に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図２３に示すように、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。
【０１７３】
図２３に示すように、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置は４つある。これらのＷ画素位置のＲ画素値とＢ画素値を推定する。推定処理は、先に図１８を参照して説明したように、ｍＷとｍＲ'、またはｍＷとｍＢ'の比率が画像内の局所領域において保たれるとの仮定に基づいて行う。
【０１７４】
このような過程に基づくと、図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒｘｙ'＝Ｒ１２'，Ｒ２１'，Ｒ３２'，Ｒ２３'）は以下のように推定することができる。
Ｒ１２'＝（ｍＲ'／ｍＷ）ｗ１２、
Ｒ２１'＝（ｍＲ'／ｍＷ）ｗ２１、
Ｒ３２'＝（ｍＲ'／ｍＷ）ｗ３２、
Ｒ２３'＝（ｍＲ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０１７５】
同様に、図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂｘｙ'＝Ｂ１２'，Ｂ２１'，Ｂ３２'，Ｂ２３'）は以下のように推定することができる。
Ｂ１２'＝（ｍＢ'／ｍＷ）ｗ１２、
Ｂ２１'＝（ｍＢ'／ｍＷ）ｗ２１、
Ｂ３２'＝（ｍＢ'／ｍＷ）ｗ３２、
Ｂ２３'＝（ｍＢ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０１７６】
このように、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定して、これらを第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５に提供する。
【０１７７】
（３−４−３．第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理）
次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理について説明する。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
【０１７８】
エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。
【０１７９】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＨとｄｉｒＶを比較して、比較結果に応じて縦または横エッジ対応のパラメータを算出する。算出するパラメータは、Ｇ画素をＲ画素、またはＢ画素に変換する補間パラメータである。
【０１８０】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理について図２４を参照して説明する。
【０１８１】
図２４に示すように、５×５画素の入力画素単位５０１に対して図２４に示すフィルタ５２１を適用して、５×５画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷを算出する。ここでＲまたはＢ画素に変換する対象となるＧ画素は、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２である。なお、この処理は、先に図２２を参照して説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理と同じ処理である。従って第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出したＷ信号の低周波成分ｍＷを受領する設定としてもよい。
【０１８２】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、さらに、処理単位の５×５画素領域におけるＲ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。この処理においては、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出した５×５画素の入力画素単位５０１の中心の変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値の推定値が利用される。
【０１８３】
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出したＲ画素値推定値を設定したデータ５０２に対して、図２４に示すフィルタ５２２を適用して、５×５画素の入力画素単位５０１に対応するＲ信号の低周波成分ｍＲを算出する。
【０１８４】
フィルタ５２２は、フィルタ係数として（３／１６〜１／１６）が設定されている。係数（１／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＲ画素位置に対応する。係数（３／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＷ画素位置に対応し、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３でＲ画素値を推定した位置に対応する。
【０１８５】
同様に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出したＢ画素値推定値を設定したデータ５０３に対して、図２４に示すフィルタ５２３を適用して、５×５画素の入力画素単位５０１に対応するＢ信号の低周波成分ｍＢを算出する。
【０１８６】
フィルタ５２２は、フィルタ係数として（３／１６〜１／１６）が設定されている。係数（１／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＢ画素位置に対応する。係数（３／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＷ画素位置に対応し、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３でＢ画素値を推定した位置に対応する。
【０１８７】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、このようにして、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。
【０１８８】
次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、５×５画素の入力画素単位５０１のエッジ方向に応じて、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。
【０１８９】
エッジ検出部２０９から入力するｄｉｒＨ（水平勾配情報）と、ｄｉｒＶ（垂直勾配情）の大小を比較して、５×５画素の入力画素単位５０１のエッジ方向が横方向であるか縦方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２は元々Ｇ画素である。
【０１９０】
５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する処理について図２５を参照して説明する。
【０１９１】
５×５画素の入力画素単位５０１のエッジ方向が横方向である場合は、
図２５（ａ）に示すように、フィルタ５３１を適用して、中央位置の変換対象画素５０２の横に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素５０２のＷ画素値（Ｗ＿ｈ）とする。
【０１９２】
５×５画素の入力画素単位５０１のエッジ方向が縦方向である場合は、
図２５（ｂ）に示すように、フィルタ５３２を適用して、中央位置の変換対象画素５０２の縦に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素５０２のＷ画素値（Ｗ＿ｖ）とする。
【０１９３】
５×５画素の入力画素単位５０１が平坦領域である場合は、
図２５（ｃ）に示すように、フィルタ５３３を適用して、中央位置の変換対象画素５０２の縦横に隣接する４つのＷ画素の画素値の平均を算出して、変換対象画素５０２のＷ画素値（Ｗ＿ｎ）とする。
【０１９４】
なお、図２５の右端には、処理対象となる５×５画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。
【０１９５】
次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
【０１９６】
まず、Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＲ画素に変換する際にＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。
【０１９７】
Ｇ画素をＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＢ画素に変換する際にＢ画素値を決定する処理に適用される。
【０１９８】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、このように、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータ、すなわち、
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０１９９】
（３−４−４．第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理）
次に、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理について説明する。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
【０２００】
エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。
【０２０１】
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＡとｄｉｒＤを比較して、比較結果に応じた異なる処理を実行して斜めエッジ対応のパラメータを算出する。算出するパラメータは、Ｇ画素をＲ画素、またはＢ画素に変換する補間パラメータである。
【０２０２】
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理は、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と同様の処理であり、先に図２４を参照して説明した処理と同一であるので、説明を省略する。
【０２０３】
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、５×５画素の入力画素単位５０１のエッジ方向に応じて、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。
【０２０４】
エッジ検出部２０９から入力するｄｉｒＡ（右斜め上方向勾配情報）と、ｄｉｒＤ（左斜め上方向勾配情報）の大小を比較して、５×５画素の入力画素単位５０１のエッジ方向が右斜め上方向であるか左斜め上方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２は元々Ｇ画素である。
【０２０５】
５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する処理について図２６を参照して説明する。
【０２０６】
５×５画素の入力画素単位５０１のエッジ方向が左斜め上方向である場合は、図２６（ａ）に示すように、フィルタ５４１を適用して、中央位置の変換対象画素５０２の左斜め上から右斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素５０２のＷ画素値（Ｗ＿ｄ）とする。
【０２０７】
５×５画素の入力画素単位５０１のエッジ方向が右斜め上方向である場合は、図２６（ｂ）に示すように、フィルタ５４２を適用して、中央位置の変換対象画素５０２の右斜め上から左斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素５０２のＷ画素値（Ｗ＿ａ）とする。
【０２０８】
なお、図２６の右端には、処理対象となる５×５画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。
【０２０９】
次に、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
【０２１０】
まず、Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＲ画素に変換する際にＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。
【０２１１】
Ｇ画素をＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＢ画素に変換する際にＢ画素値を決定する処理に適用される。
【０２１２】
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、このように、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０２１３】
（３−４−５．第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理）
次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理について説明する。第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図６に示す構成図から理解されるように、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の前段に設定されている。
【０２１４】
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８はいずれもＲまたはＢ画素を同じＲまたはＢ画素に変換（補正）するためのパラメータを算出する。第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、これらの処理に先行して、ＲＢ画素に隣接するＷ画素位置を仮のＲ画素（Ｒ'）またはＢ画素（Ｂ'）に変換する処理を実行する。
【０２１５】
第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。
【０２１６】
図２７に示すように、５×５画素の入力画素単位６０１に対して図２７に示すフィルタ６１１〜６１３を適用して、５×５画素の入力画素単位６０１に対応するＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。５×５画素の入力画素単位６０１の中心画素が変換対象画素である。この場合は、入力画素単位６０１は、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８に対する入力であり、これらは、ＲまたはＢ画素を、ＲまたはＢ画素に変換（補正）するためのパラメータを算出する処理部であるので、入力画素単位６０１の中心画素はＲまたはＢ画素である。
【０２１７】
フィルタ６１１は係数設定部がＷ画素対応位置であり、係数として（１／１６〜２／１６）の各係数を設定している。５×５画素の入力画素単位５０１のＷ画素位置の画素値に、フィルタ５１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。
【０２１８】
フィルタ６１２は入力画素単位６０１の中心画素がＲ画素のときに適用する。係数設定部がＲ画素対応位置であり、係数として（１／８〜４／８）の各係数を設定している。５×５画素の入力画素単位６０１のＲ画素位置の画素値に、フィルタ６１２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＲ'として算出する。
【０２１９】
フィルタ６１３は入力画素単位６０１の中心画素がＲ画素のときに適用する。係数設定部がＢ画素対応位置であり、係数として（１／８〜４／８）の各係数を設定している。５×５画素の入力画素単位６０１のＢ画素位置の画素値に、フィルタ６１３の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＢ信号の低周波成分ｍＢ'として算出する。
【０２２０】
次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図２８に示すように、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。
【０２２１】
図２８に示すように、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置は４つある。これらのＷ画素位置のＲ画素値とＢ画素値を推定する。推定処理は、先に図１８を参照して説明したように、ｍＷとｍＲ'、またはｍＷとｍＢ'の比率が画像内の局所領域において保たれるとの仮定に基づいて行う。
【０２２２】
このような過程に基づくと、図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒｘｙ'＝Ｒ１２'，Ｒ２１'，Ｒ３２'，Ｒ２３'）は以下のように推定することができる。
Ｒ１２'＝（ｍＲ'／ｍＷ）ｗ１２、
Ｒ２１'＝（ｍＲ'／ｍＷ）ｗ２１、
Ｒ３２'＝（ｍＲ'／ｍＷ）ｗ３２、
Ｒ２３'＝（ｍＲ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０２２３】
同様に、図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂｘｙ'＝Ｂ１２'，Ｂ２１'，Ｂ３２'，Ｂ２３'）は以下のように推定することができる。
Ｂ１２'＝（ｍＢ'／ｍＷ）ｗ１２、
Ｂ２１'＝（ｍＢ'／ｍＷ）ｗ２１、
Ｂ３２'＝（ｍＢ'／ｍＷ）ｗ３２、
Ｂ２３'＝（ｍＢ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０２２４】
このように、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定して、これらを第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第３画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８に提供する。
【０２２５】
（３−４−６．第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理）
次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理について説明する。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
【０２２６】
エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、変換対象とするＲまたはＢ画素対応のこれらのエッジ情報を入力する。
【０２２７】
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、変換対象とするＲ／Ｂ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＨとｄｉｒＶを比較して、比較結果に応じて縦または横エッジ対応のパラメータを算出する。算出するパラメータは、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータである。
【０２２８】
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理について図２９を参照して説明する。
【０２２９】
図２９に示すように、５×５画素の入力画素単位６０１に対して図２９に示すフィルタ６２１を適用して、５×５画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷを算出する。ここでＲまたはＢ画素に変換する対象となるＲまたはＢ画素は、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２である。なお、この処理は、先に図２７を参照して説明した第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理と同じ処理である。従って第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出したＷ信号の低周波成分ｍＷを受領する設定としてもよい。
【０２３０】
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、さらに、処理単位の５×５画素領域におけるＲ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。この処理においては、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出した５×５画素の入力画素単位６０１の中心の変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値の推定値が利用される。
【０２３１】
第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出したＲ画素値推定値を設定したデータ６１１に対して、図２９に示すフィルタ６２２を適用して、５×５画素の入力画素単位６０１に対応するＲ信号の低周波成分ｍＲを算出する。
【０２３２】
フィルタ６２２は、フィルタ係数として（４／１６〜１／１６）が設定されている。係数（１／１６），（４／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＲ画素位置に対応する。係数（２／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＷ画素位置に対応し、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６でＲ画素値を推定した位置に対応する。
【０２３３】
同様に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出したＢ画素値推定値を設定したデータ６１２に対して、図２９に示すフィルタ６２３を適用して、５×５画素の入力画素単位６０１に対応するＢ信号の低周波成分ｍＢを算出する。
【０２３４】
フィルタ６２２は、フィルタ係数として（４／１６〜１／１６）が設定されている。係数（１／１６），（４／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＢ画素位置に対応する。係数（２／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＷ画素位置に対応し、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６でＢ画素値を推定した位置に対応する。
【０２３５】
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、このようにして、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。
【０２３６】
次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、５×５画素の入力画素単位６０１のエッジ方向に応じて、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。
【０２３７】
エッジ検出部２０９から入力するｄｉｒＨ（水平勾配情報）と、ｄｉｒＶ（垂直勾配情）の大小を比較して、５×５画素の入力画素単位６０１のエッジ方向が横方向であるか縦方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２は元々ＲまたはＢ画素である。
【０２３８】
５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２はＲまたはＢ画素である。この処理について図３０を参照して説明する。
【０２３９】
５×５画素の入力画素単位６０１のエッジ方向が横方向である場合は、
図３０（ａ）に示すように、フィルタ６３１を適用して、中央位置の変換対象画素６０２の横に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素６０２のＷ画素値（Ｗ＿ｈ）とする。
【０２４０】
５×５画素の入力画素単位６０１のエッジ方向が縦方向である場合は、
図３０（ｂ）に示すように、フィルタ６３２を適用して、中央位置の変換対象画素６０２の縦に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素６０２のＷ画素値（Ｗ＿ｖ）とする。
【０２４１】
５×５画素の入力画素単位６０１が平坦領域である場合は、
図３０（ｃ）に示すように、フィルタ６３３を適用して、中央位置の変換対象画素６０２の縦横に隣接する４つのＷ画素の画素値の平均を算出して、変換対象画素６０２のＷ画素値（Ｗ＿ｎ）とする。
【０２４２】
なお、図３０の右端には、処理対象となる５×５画素の入力画素単位６０１のエッジ例を表現したイメージ図を示している。
【０２４３】
次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、縦、または横エッジ対応のパラメータを算出する。
【０２４４】
まず、Ｒ画素を補正したＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＲ画素位置をＲ画素に変換する際に補正したＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。
【０２４５】
Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＢ画素位置をＢ画素に変換する際に補正したＢ画素値を決定する処理に適用される。
【０２４６】
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、このように、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、縦、または横エッジ対応のパラメータ、すなわち、
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０２４７】
（３−４−７．第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理）
次に、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理について説明する。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
【０２４８】
エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、変換対象とするＲまたはＢ画素対応のこれらのエッジ情報を入力する。
【０２４９】
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理は、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と同様の処理であり、先に図２９を参照して説明した処理と同一であるので、説明を省略する。
【０２５０】
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、５×５画素の入力画素単位６０１のエッジ方向に応じて、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。
【０２５１】
エッジ検出部２０９から入力するｄｉｒＡ（右斜め上方向勾配情報）と、ｄｉｒＤ（左斜め上方向勾配情報）の大小を比較して、５×５画素の入力画素単位６０１のエッジ方向が右斜め上方向であるか左斜め上方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２は元々ＲまたはＢ画素である。
【０２５２】
５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２のＷ画素値を推定する処理について図３１を参照して説明する。
【０２５３】
５×５画素の入力画素単位６０１のエッジ方向が左斜め上方向である場合は、図３１（ａ）に示すように、フィルタ６４１を適用して、中央位置の変換対象画素６０２の左斜め上から右斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素６０２のＷ画素値（Ｗ＿ｄ）とする。
【０２５４】
５×５画素の入力画素単位６０１のエッジ方向が右斜め上方向である場合は、図３１（ｂ）に示すように、フィルタ６４２を適用して、中央位置の変換対象画素６０２の右斜め上から左斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素６０２のＷ画素値（Ｗ＿ａ）とする。
【０２５５】
なお、図３１の右端には、処理対象となる５×５画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。
【０２５６】
次に、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
【０２５７】
まず、Ｒ画素を補正したＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＲ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＲ画素を補正したＲ画素に変換する際にＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。
【０２５８】
Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＢ画素位置を補正したＢ画素に変換する際にＢ画素値を決定する処理に適用される。
【０２５９】
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、このように、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＲ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０２６０】
（３−５．ブレンド処理部の処理について）
次に、ブレンド処理部２１１の処理について説明する。ブレンド処理部２１１は、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。
【０２６１】
エッジ検出部２０９から入力するエッジ情報は以下の情報である。
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を入力する。
【０２６２】
また、テクスチャ検出部２１０から入力するテクスチャ情報は、先に説明した式（式７）に従って算出する以下の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）情報である。
ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆｆｌａｔ（ＷＴＸ（ｐ））・・・（式７）
なお、前述したように、上記式（式７）において、ｆｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数を用いることができる。図１４に示す線形近似関数は、閾値として０＜Ｔｈ０＜Ｔｈ１＜１を設定し、
ｒ＝０〜Ｔｈ０→φ（ｒ）＝０
ｒ＝Ｔｈ０〜Ｔｈ１→φ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１以上→φ（ｒ）＝１
このような設定とした線形近似関数である。
平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高いことを示す。
【０２６３】
ブレンド処理部２１１は、これらの情報を入力して、ＲＧＢＷ配列をＲＧＢ配列に変換するための最終的な変換画素値を決定する。
ブレンド処理部２１１の実行する処理シーケンスについて、図３２、図３３に示すフローチャートを参照して説明する。
【０２６４】
ブレンド処理部２１１は、まず、図３２に示すステップＳ１１において、画素単位のエッジ方向属性を判定する。
ブレンド処理部２１１は、エッジ検出部２０９から入力する画素単位のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を用いて以下の判定式に従って、画素単位のエッジ方向属性を判定する。
まず、ｄｉｒＨＶを以下のように定義する。
ｄｉｒＨ≦ｄｉｒＶの場合、
ｄｉｒＨＶ＝Ｈ
ｄｉｒＨ＞ｄｉｒＶの場合、
ｄｉｒＨＶ＝Ｖ
ｄｉｒＨＶはＨ（横方向）またはＶ（縦方向）のいずれかとなる。
【０２６５】
さらに、ｄｉｒＡＤを以下のように定義する。
ｄｉｒＡ≦ｄｉｒＤの場合、
ｄｉｒＡＤ＝Ａ
ｄｉｒＡ＞ｄｉｒＤの場合、
ｄｉｒＡＤ＝Ｄ
ｄｉｒＡＤはＡ（右斜め上方向）またはＤ（左斜め上方向）のいずれかとなる。
これら、ｄｉｒＨＶ、ｄｉｒＡＤは、各画素におけるエッジ方向を示す属性情報である。
【０２６６】
次に、ブレンド処理部２１１は、図３２に示すステップＳ１２において、これらのｄｉｒＨＶ、ｄｉｒＡＤから、以下の式に従って、縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＨＶ）を求める。
ｄｉｒＡ≦ｄｉｒＤの場合、
ｒａｔｉｏＨＶ＝（ｄｉｒＤ＋ｏｆｆｓｅｔ）／（ｄｉｒＡ＋ｏｆｆｓｅｔ）
ｄｉｒＡ＞ｄｉｒＤの場合、
ｒａｔｉｏＨＶ＝（ｄｉｒＡ＋ｏｆｆｓｅｔ）／（ｄｉｒＤ＋ｏｆｆｓｅｔ）
なお、
上記式における（ｏｆｆｓｅｔ）は、非負の値であり、ゼロ割りの回避と検出感度の調整のためのパラメータである。
【０２６７】
さらに、上記式で算出したエッジ方向度合い（ｒａｔｉｏＨＶ）は、例えば図３４に示す関数ｆｒａｔｉｏ（ｒａｔｉｏＨＶ）による非線形化処理により、
縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出する。なお、閾値Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）、Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）は、非線形処理に適用する閾値としての調整用パラメータである。
図３２に示す線形近似関数ｆｒａｔｉｏ（ｒ）は、閾値として０＜Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）＜Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）＜１を設定し、
ｒ＝０〜Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）→ｆｒａｔｉｏ（ｒ）＝０
ｒ＝Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）〜Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）→ｆｒａｔｉｏ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）以上→ｆｒａｔｉｏ（ｒ）＝１
このような設定とした線形近似関数である。
【０２６８】
なお、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）は、斜め方向エッジに対する縦横方向エッジの強さを示し、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きいほど、斜め方向エッジより縦横方向エッジが強く、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さいほど、斜め方向エッジが縦横方向エッジより強いことを示す。
【０２６９】
次に、ブレンド処理部２１１は、図３３に示すステップＳ１３において、ＲＧＢＷ配列をＲＧＢ配列に変換するための最終的な変換画素値（ＲＧＢ画素値）を決定する。
【０２７０】
本発明の画像処理装置のデータ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
ブレンド処理部２１１は、これらの最終的な変換画素値を決定する。
【０２７１】
Ｗ画素位置のＧ画素への変換処理において設定するＧ画素値（ＧｏｎＷ）は、以下の式（式１１）によって算出する。
ＧｏｎＷ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
・・・・・・（式１１）
【０２７２】
なお、上記式（式１１）において、
ＧｏｎＷ（ｄｉｒＨＶ）、
ＧｏｎＷｎ（ｄｉｒＨＶ）
これらは、先に説明した第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の算出した補間パラータであり、
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらのいずれかの値である。
【０２７３】
ｄｉｒＨ≦ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｈであり、
ＧｏｎＷ（ｄｉｒＨＶ）＝ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ、
ＧｏｎＷｎ（ｄｉｒＨＶ）＝ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ、
となる。
また、ｄｉｒＨ＞ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｖであり、
ＧｏｎＷ（ｄｉｒＨＶ）＝ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ、
ＧｏｎＷｎ（ｄｉｒＨＶ）＝ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
となる。
このようにして、ＲＧＢＷ配列のＷ画素位置をＧ画素へ変換する場合のＧ画素値（ＧｏｎＷ）を算出する。
【０２７４】
なお、上記の式（式１１）に示すＧ画素値（ＧｏｎＷ）算出式は、変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて、
（ＧｏｎＷ（ｄｉｒＨＶ））：コントラスト強調を適用して算出した変換Ｇ画素値
（ＧｏｎＷｎ（ｄｉｒＨＶ））：コントラスト強調を適用しないで算出した変換Ｇ画素値
これらの値のブレント比率を変更して最終的な変換Ｇ画素値を算出する式である。
【０２７５】
変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が大きく、平坦な領域である場合は、コントラスト強調のない変換Ｇ画素値に相当する（ＧｏｎＷｎ（ｄｉｒＨＶ））のブレント比率が高くなり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が小さく、平坦度が低くテクスチャが多い領域である場合は、コントラスト強調後の変換画素値に相当する（ＧｏｎＷ（ｄｉｒＨＶ））のブレント比率が高くなる。
このように変換対象画素の平坦度に応じて、ブレンド比率を変更して最終的なＧ画素値（ＧｏｎＷ）を決定する。
【０２７６】
次に、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する処理におけるＲ画素値（ＲｏｎＧ）の算出処理について説明する。
まず、以下の式（式２１）、（式２２）に従って縦横方向エッジ対応の変換画素値（ＲｏｎＧ＿ｈｖ）、斜め方向エッジ対応の変換画素値（ＲｏｎＧ＿ａｄ）を求める。
ＲｏｎＧ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＧ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＧｎ）
・・・・・・（式２１）
ＲｏｎＧ＿ａｄ＝（ＲｏｎＧ（ｄｉｒＡＤ））
・・・・・・（式２２）
【０２７７】
さらに、上記式（式２１）、（式２２）で算出した（ＲｏｎＧ＿ｈｖ）と（ＲｏｎＧ＿ａｄ）を以下の式（式２３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＧ）を算出する。
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
・・・・・・（式２３）
このようにして、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理を行う。
【０２７８】
上記式について説明する。
上記式（式２１）において、
ＲｏｎＧ（ｄｉｒＨＶ）、
ＲｏｎＧｎ
これらは、先に説明した第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出した補間パラータであり、縦、または横エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
【０２７９】
ｄｉｒＨ≦ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｈであり、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）、
また、ｄｉｒＨ＞ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｖであり、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）、
となる。
【０２８０】
また、上記式（式２２）において、
ＲｏｎＧ（ｄｉｒＡＤ）
これは、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータであり、斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
【０２８１】
ｄｉｒＡ≦ｄｉｒＤの場合、ステップＳ１１に示すように、
ｄｉｒＡＤ＝Ａであり、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）、
また、ｄｉｒＡ＞ｄｉｒＤの場合、ステップＳ１１に示すように、
ｄｉｒＡＤ＝Ｄであり、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）、
となる。
【０２８２】
式（式２１）は、変換対象画素の縦横方向エッジ情報と、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。
変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が大きく、平坦な領域である場合は、先に説明した図２５（ｃ）に示すフィルタ５３３を適用して算出したＷ画素値（ｗ＿ｎ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
この値の重みを大きくする。
【０２８３】
一方、変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が小さく、平坦度が低くテクスチャが多い領域である場合は、先に説明した図２５（ａ），（ｂ）に示すフィルタ５３１，５３２を適用して算出したＷ画素値（ｗ＿ｈ）または(ｗ＿ｖ)を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
これらの値の重みを大きくする。
【０２８４】
なお、ＲｏｎＧ（ｄｉｒＨＶ）の値は、
横方向エッジの場合は、ｄｉｒＨ≦ｄｉｒＶとなり、先に説明した図２５（ａ）に示すフィルタ５３１を適用して算出したＷ画素値（ｗ＿ｈ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）、
この値が適用される。
また、縦方向エッジの場合は、ｄｉｒＨ＞ｄｉｒＶとなり、先に説明した図２５（ｂ）に示すフィルタ５３２を適用して算出したＷ画素値（ｗ＿ｖ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）、
この値が適用される。
【０２８５】
このように式（式２１）は、変換対象画素の縦横方向エッジ情報と、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。
【０２８６】
式（式２２）は、
ＲｏｎＧ＿ａｄ＝（ＲｏｎＧ（ｄｉｒＡＤ））
であり、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータ斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータ、すなわち、
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
これらを選択する式である。
【０２８７】
ｄｉｒＡ＞ｄｉｒＤの場合、先に説明した図２６（ａ）に示すフィルタ５４１を適用して算出したＷ画素値（ｗ＿ｄ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）、
ｄｉｒＡ≦ｄｉｒＤの場合、先に説明した図２６（ｂ）に示すフィルタ５４２を適用して算出したＷ画素値（ｗ＿ａ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）、
これらを選択する。
このように式（式２２）は、変換対象画素の斜め方向のエッジ方向情報に応じて斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。
【０２８８】
ブレンド処理部２１１は、さらに、上記式（式２１）、（式２２）で算出した（ＲｏｎＧ＿ｈｖ）と（ＲｏｎＧ＿ａｄ）を以下の式（式２３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＧ）を算出する。
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
【０２８９】
上記式（式２３）は、
式２１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）
式２２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＲ画素値（ＲｏｎＧ）を算出する式である。
【０２９０】
縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）は、先に説明したように、斜め方向エッジに対する縦横方向エッジの強さを示し、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きいほど、斜め方向エッジより縦横方向エッジが強く、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さいほど、斜め方向エッジが縦横方向エッジより強いことを示す。
【０２９１】
従って、式（式２３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式２１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式２２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）の重みが大きく設定される。
【０２９２】
このように変換対象画素のエッジ方向に応じて、ブレンド比率を変更して最終的なＲ画素値（ＲｏｎＧ）を決定する。
【０２９３】
次に、ＲＧＢＷ配列中のＧ画素位置をＢ画素へ変換する処理におけるＢ画素値（ＢｏｎＧ）の算出処理について説明する。
ブレンド処理部２１１は、まず、以下の式（式３１）、（式３２）に従って縦横方向エッジ対応の変換画素値（ＢｏｎＧ＿ｈｖ）、斜め方向エッジ対応の変換画素値（ＢｏｎＧ＿ａｄ）を求める。
ＢｏｎＧ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＧ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＧｎ）
・・・・・・（式３１）
ＢｏｎＧ＿ａｄ＝（ＢｏｎＧ（ｄｉｒＡＤ））
・・・・・・（式３２）
【０２９４】
さらに、上記式（式３１）、（式３２）で算出した（ＢｏｎＧ＿ｈｖ）と（ＢｏｎＧ＿ａｄ）を以下の式（式３３）に従ってブレンド処理を実行して、最終的なＢ画素値（ＢｏｎＧ）を算出する。
ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
・・・・・・（式３３）
このようにして、ＲＧＢＷ配列中のＧ画素位置をＢ画素へ変換する場合のＢ画素値（ＢｏｎＧ）の算出処理を行う。
【０２９５】
これらの式３１〜３３は、前述の式２１〜２３、すなわち、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理において適用した式において、ＲをＢに変更した式であり、処理は、ＲをＢに変更する以外は同様の処理となる。
【０２９６】
上記式（式３１）において、
ＢｏｎＧ（ｄｉｒＨＶ）、
ＢｏｎＧｎ
これらは、先に説明した第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出した補間パラータであり、縦、または横エッジ上のＧ画素をＢ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
【０２９７】
また、上記式（式３２）において、
ＢｏｎＧ（ｄｉｒＡＤ）
これは、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータであり、斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
【０２９８】
上記式（式３３）は、
式３１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）
式３２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＢ画素値（ＢｏｎＧ）を算出する式である。
【０２９９】
式（式３３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式３１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式３２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）の重みが大きく設定される。
このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＢ画素値（ＢｏｎＧ）を決定する。
【０３００】
次に、ＲＧＢＷ配列中のＲ画素位置をＲ画素へ変換（補正）する処理におけるＲ画素値（ＲｏｎＲ）の算出処理について説明する。
【０３０１】
ブレンド処理部２１１は、まず、以下の式（式４１）、（式４２）に従って縦横方向エッジ対応変換画素値（ＲｏｎＲ＿ｈｖ）、斜め方向エッジ対応変換画素値（ＲｏｎＲ＿ａｄ）を求める。
ＲｏｎＲ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＲ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＲｎ）
・・・・・・（式４１）
ＲｏｎＲ＿ａｄ＝（ＲｏｎＲ（ｄｉｒＡＤ））
・・・・・・（式４２）
【０３０２】
さらに、上記式（式４１）、（式４２）で算出した（ＲｏｎＲ＿ｈｖ）と（ＲｏｎＲ＿ａｄ）を以下の式（式４３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＲ）を算出する。
ＲｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＲ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＲ＿ａｄ
・・・・・・（式４３）
このようにして、ＲＧＢＷ配列中のＲ画素位置をＲ画素へ変換（補正）する場合のＲ画素値（ＲｏｎＲ）の算出処理を行う。
【０３０３】
これらの式４１〜４３は、前述の式２１〜２３、すなわち、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理において適用した式において、ＧをＲに変更した式であり、処理は、ＲをＲに変更する以外は同様の処理となる。
【０３０４】
上記式（式４１）において、
ＲｏｎＲ（ｄｉｒＨＶ）、
ＲｏｎＲｎ
これらは、先に説明した第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出した補間パラータであり、縦、または横エッジ上のＲ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
【０３０５】
また、上記式（式４２）において、
ＲｏｎＲ（ｄｉｒＡＤ）
これは、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の算出した補間パラータであり、斜め方向エッジ上のＲ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＲ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
【０３０６】
上記式（式４３）は、
式４１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）
式４２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＲ画素値（ＲｏｎＲ）を算出する式である。
【０３０７】
式（式４３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式４１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＲ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式４２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＲ＿ａｄ）の重みが大きく設定される。
このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＲ画素値（ＲｏｎＲ）を決定する。
【０３０８】
次に、ＲＧＢＷ配列中のＢ画素位置をＢ画素へ変換（補正）する処理におけるＢ画素値（ＢｏｎＢ）の算出処理について説明する。
【０３０９】
ブレンド処理部２１１は、まず、以下の式（式５１）、（式５２）に従って縦横方向エッジ対応変換画素値（ＢｏｎＢ＿ｈｖ）、斜め方向エッジ対応変換画素値（ＢｏｎＢ＿ａｄ）を求める。
ＢｏｎＢ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＢ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＢｎ）
・・・・・・（式５１）
ＢｏｎＢ＿ａｄ＝（ＢｏｎＢ（ｄｉｒＡＤ））
・・・・・・（式５２）
【０３１０】
さらに、上記式（式５１）、（式５２）で算出した（ＢｏｎＢ＿ｈｖ）と（ＢｏｎＢ＿ａｄ）を以下の式（式５３）に従ってブレンド処理を実行して、最終的なＢ画素値（ＢｏｎＢ）を算出する。
ＢｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＢ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＢ＿ａｄ
・・・・・・（式５３）
このようにして、ＲＧＢＷ配列中のＢ画素位置をＢ画素へ変換（補正）する場合のＢ画素値（ＢｏｎＢ）の算出処理を行う。
【０３１１】
これらの式５１〜５３は、前述の式４１〜４３、すなわち、ＲＧＢＷ配列中のＲ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＲ）の算出処理において適用した式において、ＲをＢに変更した式であり、処理は、ＲをＢに変更する以外は同様の処理となる。
【０３１２】
上記式（式５１）において、
ＢｏｎＢ（ｄｉｒＨＶ）、
ＢｏｎＢｎ
これらは、先に説明した第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出した補間パラータであり、縦、または横エッジ上のＢ画素をＢ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
【０３１３】
また、上記式（式５２）において、
ＢｏｎＢ（ｄｉｒＡＤ）
これは、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の算出した補間パラータであり、斜め方向エッジ上のＢ画素をＢ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
【０３１４】
上記式（式５３）は、
式５１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）
式５２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＢ画素値（ＢｏｎＢ）を算出する式である。
【０３１５】
式（式５３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式５１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＢ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式５２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＢ＿ａｄ）の重みが大きく設定される。
このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＢ画素値（ＢｏｎＢ）を決定する。
【０３１６】
上述したように、ブレンド処理部２１１は、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。すなわち、ＲＧＢＷ配列からＲＧＢ配列への変換処理において以下の変換画素値を決定する。
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する際のＧ画素値（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する際のＲ画素値（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する際のＢ画素値（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する際のＲ画素値（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する際のＢ画素値（ＢｏｎＢ）
これら５つの変換や補正画素値を決定する。
【０３１７】
ブレンド処理部２１１は、変換対象画素に対応するエッジ情報、すなわちエッジ強度と、エッジ方向に応じて、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータのブレンド比率を決定して、最終的な画素値を算出する。各画素値の算出式を以下にまとめて示す。
【０３１８】
ＧｏｎＷ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
ＲｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＲ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＲ＿ａｄ
ＢｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＢ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＢ＿ａｄ
【０３１９】
［４．画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンス］
次に、図３５に示すフローチャートを参照して、画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンスについて説明する。図３５に示すフローチャートは、図５に示す画像処理装置において実行するＲＧＢＷ配列からＲＧＢ配列への変換処理、すなわちリモザイク処理の全体シーケンスを示すフローチャートである。これまで説明してきた処理全体のシーケンスである。なお、図３５に示すフローは、例えば、図５に示す画像処理装置の制御部１４０がメモリ１３０に格納されたプログラムを実行して、各処理部を制御して実行させることができる。
【０３２０】
図３５に示すフローチャートの各ステップについて説明する。
まず、ステップＳ１０１において、ＲＧＢＷ配列に含まれるＷ画素を適用して、エッジ方向を判定する。
この処理は、図６に示すエッジ検出部２０９の実行する処理である。先に説明したように、エッジ検出部２０９は、入力するＲＧＢＷ配列の信号中、ホワイト（Ｗ）信号を利用して、エッジ方向とエッジ強度を判定する。
エッジ検出部２０９は、エッジ検出処理によって、画素対応のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出して、ブレンド処理部２１１、および複数の画素補間パラメータ算出部に出力する。
【０３２１】
次に、ステップＳ１０２において、ＲＧＢＷ配列に含まれるＷ画素を適用して、テクスチャ検出処理を行う。
この処理は、図６に示すテクスチャ検出部２１０の実行する処理である。先に説明したように、テクスチャ検出部２１０は、入力するＲＧＢＷ配列の信号中、ホワイト（Ｗ）信号を利用して、画素対応テクスチャ情報、具体的には、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。
ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆｆｌａｔ（ＷＴＸ（ｐ））
ｆｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数であり、
ｒ＝０〜Ｔｈ０→ｆｆｌａｔ（ｒ）＝０
ｒ＝Ｔｈ０〜Ｔｈ１→ｆｆｌａｔ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１以上→ｆｆｌａｔ（ｒ）＝１
このような設定とした平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、ブレンド処理部２１１に出力する。
【０３２２】
次に、ステップＳ１０３において、入力画素単位の中心のＷ画素に対するノイズ除去を実行する。
この処理は、図６に示すノイズ除去部２０１の処理である。先に説明したように、ノイズ除去部２０１は、入力画素単位の中心にあるＷ画素に対してノイズ除去を実行する。
【０３２３】
先に図７を参照して説明したように、ノイズ除去部２０１は、例えばバイラテラルフィルタを適用して入力画素単位（５×５画素）の中心にＷ画素が設定されている場合、前述の式（式１）に従って、ノイズ低減画素値ＩＮＲ（ｐ）を算出する。算出したノイズ低減Ｗ画素値（ＩＮＲ（ｐ））は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２に出力される。
【０３２４】
次に、ステップＳ１０４において、ＲＧＢＷ配列中のＷ画素をＧ画素に変換するために適用する補間パラメータを算出する。
この処理は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理である。
第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
【０３２５】
上記式において、
ｍＧ：入力画素単位のＧ信号の低周波成分
ｍＷ：入力画素単位のＷ信号の低周波成分
ｗ：入力画素単位の中心のＷ画素の画素値
である。
なお、ｍＧについては、図１６、図１７を参照して説明したように、入力画素単位の中心Ｗ画素のＧ画素の隣接位置と、エッジ方向に応じて、異なる係数設定のフィルタを適用して、ｍＧ＿ｖ、またはｍＧ＿ｈをＧ信号の低周波成分として算出する。
【０３２６】
上記（ａ）〜（ｄ）において、
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用して算出する値である。
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用しないで算出する値である。
ひれら（ａ）〜（ｄ）のパラメータは、ＲＧＢＷ配列中のＷ画素をＧ画素に変換するために適用する補間パラメータであり、ブレンド処理部２１１に出力される。
【０３２７】
次に、ステップＳ１０５において、Ｒ／Ｗ，Ｂ／Ｗ相関からＧ画素隣接のＷ位置のＲ，Ｂを補間する。
この処理は、図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理である。
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図２３を参照して説明したように、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒｘｙ'＝Ｒ１２'，Ｒ２１'，Ｒ３２'，Ｒ２３'）は以下のように推定することができる。
Ｒ１２'＝（ｍＲ'／ｍＷ）ｗ１２、
Ｒ２１'＝（ｍＲ'／ｍＷ）ｗ２１、
Ｒ３２'＝（ｍＲ'／ｍＷ）ｗ３２、
Ｒ２３'＝（ｍＲ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０３２８】
同様に、図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂｘｙ'＝Ｂ１２'，Ｂ２１'，Ｂ３２'，Ｂ２３'）は以下のように推定することができる。
Ｂ１２'＝（ｍＢ'／ｍＷ）ｗ１２、
Ｂ２１'＝（ｍＢ'／ｍＷ）ｗ２１、
Ｂ３２'＝（ｍＢ'／ｍＷ）ｗ３２、
Ｂ２３'＝（ｍＢ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０３２９】
なお、
ｍＷ：入力画素単位のＷ信号の低周波成分
ｗ：入力画素単位の中心のＷ画素の画素値
ｍＲ'：ＲＢ画素に隣接するＷ画素位置に設定した仮のＲ画素（Ｒ'）を適用して算出したＲ信号の低周波成分
ｍＢ'：ＲＢ画素に隣接するＷ画素位置に設定した仮のＢ画素（Ｂ'）を適用して算出したＢ信号の低周波成分
である。
【０３３０】
次に、ステップＳ１０６において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して縦横方向のＧ位置のＲ，Ｂを補間する。
この処理は、図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理である。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、主に縦、または横エッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。
【０３３１】
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、縦、または横エッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０３３２】
なお、
ｍＲ：入力画素単位のＲ信号の低周波成分
ｍＢ：入力画素単位のＢＲ信号の低周波成分
ｍＷ：入力画素単位のＷ信号の低周波成分
（ｗ＿ｈ）、（ｗ＿ｖ）、（ｗ＿ｎ）は、図２５を参照して説明したように、エッジ方向に応じて選択されるフィルタを適用して算出する入力画素単位の中心画素位置に設定されるＷ画素値である。
【０３３３】
次に、ステップＳ１０７において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して斜め方向のＧ位置のＲ，Ｂを補間する。
この処理は、図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理である。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。
【０３３４】
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０３３５】
次に、ステップＳ１０８において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して、Ｒ，Ｂ画素隣接のＷ位置のＲ，Ｂを補間する。
この処理は、図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理である。
次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図２８を参照して説明したように、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。
【０３３６】
図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒｘｙ'＝Ｒ１２'，Ｒ２１'，Ｒ３２'，Ｒ２３'）は以下のように推定することができる。
Ｒ１２'＝（ｍＲ'／ｍＷ）ｗ１２、
Ｒ２１'＝（ｍＲ'／ｍＷ）ｗ２１、
Ｒ３２'＝（ｍＲ'／ｍＷ）ｗ３２、
Ｒ２３'＝（ｍＲ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０３３７】
同様に、図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂｘｙ'＝Ｂ１２'，Ｂ２１'，Ｂ３２'，Ｂ２３'）は以下のように推定することができる。
Ｂ１２'＝（ｍＢ'／ｍＷ）ｗ１２、
Ｂ２１'＝（ｍＢ'／ｍＷ）ｗ２１、
Ｂ３２'＝（ｍＢ'／ｍＷ）ｗ３２、
Ｂ２３'＝（ｍＢ'／ｍＷ）ｗ２３、
なお、ｗ１２、ｗ２１、ｗ３２、ｗ２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。
【０３３８】
次に、ステップＳ１０９において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して、縦横方向のＲ，Ｂ位置のＲ，Ｂを補間する。この処理は、図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理である。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、縦、または横エッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、以下のパラメータの算出処理を実行する。
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０３３９】
次に、ステップＳ１１０において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して斜め方向のＲ，Ｂ位置のＲ，Ｂを補間する。
この処理は、図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理である。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータの算出処理を実行する。
【０３４０】
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、このように、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＲ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。
【０３４１】
次に、ステップＳ１１１において、エッジ方向属性に従いブレンド処理を実行して、ＲＧＢＷ配列の変換後のＲＧＢ配列を構成するＲＧＢ画素値を決定する。この処理は、図６に示すブレンド処理部２１１の処理である。
【０３４２】
ブレンド処理部２１１は、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。
【０３４３】
ブレンド処理部２１１は、変換対象画素に対応するエッジ情報、すなわちエッジ強度と、エッジ方向に応じて、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータのブレンド比率を決定して、最終的な画素値を算出する。この処理は、図３２、図３３に示すフローを参照して説明した処理である。各変換画素値の算出式を以下にまとめて示す。
ＧｏｎＷ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
ＲｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＲ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＲ＿ａｄ
ＢｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＢ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＢ＿ａｄ
【０３４４】
このように、本発明の画像処理装置においては、補間パラメータ算出部各々が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。さらに、ブレンド処理部が、各補間パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。
【０３４５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０３４６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０３４７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０３４８】
以上、説明したように、本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを入力して偽色の少ない高品質なカラー画像を生成するためのＲＧＢ配列データを生成することができる。具体的には、エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。
【符号の説明】
【０３４９】
１００  撮像装置
１０５  光学レンズ
１１０  撮像素子（イメージセンサ）
１２０  信号処理部
１３０  メモリ
１４０  制御部
１８１  ＲＧＢＷ配列
１８２  ＲＧＢ配列
１８３  カラー画像
２００  データ変換処理部
２０１  ノイズ除去部
２０２  第１画素補間パラメータ算出部（ＧｏｎＷ）
２０３  第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）
２０４  第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）
２０５  第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）
２０６  第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）
２０７  第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）
２０８  第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）
２０９  エッジ検出部
２１０  テクスチャ検出部
２１１  ブレンド処理部
【図１】
0005454075.tif 000008
【図２】
0005454075.tif 000009
【図３】
0005454075.tif 000010
【図４】
0005454075.tif 000011
【図５】
0005454075.tif 000012
【図６】
0005454075.tif 000013
【図１４】
0005454075.tif 000014
【図１８】
0005454075.tif 000015
【図３２】
0005454075.tif 000016
【図３３】
0005454075.tif 000017
【図３４】
0005454075.tif 000018
【図３５】
0005454075.tif 000019
【図７】
0005454075.tif 000020
【図８】
0005454075.tif 000021
【図９】
0005454075.tif 000022
【図１０】
0005454075.tif 000023
【図１１】
0005454075.tif 000024
【図１２】
0005454075.tif 000025
【図１３】
0005454075.tif 000026
【図１５】
0005454075.tif 000027
【図１６】
0005454075.tif 000028
【図１７】
0005454075.tif 000029
【図１９】
0005454075.tif 000030
【図２０】
0005454075.tif 000031
【図２１】
0005454075.tif 000032
【図２２】
0005454075.tif 000033
【図２３】
0005454075.tif 000034
【図２４】
0005454075.tif 000035
【図２５】
0005454075.tif 000036
【図２６】
0005454075.tif 000037
【図２７】
0005454075.tif 000038
【図２８】
0005454075.tif 000039
【図２９】
0005454075.tif 000040
【図３０】
0005454075.tif 000041
【図３１】
0005454075.tif 000042