(57)【要約】【課題】より高品質な画像を得ることができるようにする。【解決手段】高周波成分方向検出部は、入力画像の高周波成分である高周波画像から物体の方向を検出する。高周波成分補間処理部は、高周波成分方向検出部による検出の結果に基づいて、高周波画像に対する補間処理を行う。低周波成分方向検出部は、入力画像の低周波成分である低周波画像から物体の方向を検出する。低周波成分補間処理部は、低周波成分方向検出部による検出の結果に基づいて、低周波画像に対する補間処理を行う。ブレンド処理部は、補間処理された高周波画像と低周波画像を混合し、出力画像を生成する。本技術は画像処理装置に適用することができる。【選択図】図１
2016051187.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出部と、
前記高周波成分に対して、前記高周波成分方向検出部により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理部と、
前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出部と、
前記低周波成分に対して、前記低周波成分方向検出部により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理部と、
アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理部と
を備える画像処理装置。
【請求項２】
前記高周波成分アンチエイリアス処理部および前記低周波成分アンチエイリアス処理部は、アンチエイリアス処理として補間処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記高周波成分は輝度成分であり、前記低周波成分は色差成分である
請求項１に記載の画像処理装置。
【請求項４】
前記低周波成分方向検出部は、前記色差成分に基づいて複数の方向ごとに色味を算出し、
前記低周波成分アンチエイリアス処理部は、前記複数の方向ごとに、それらの方向に前記色差成分に対するアンチエイリアス処理を施して方向色差成分を生成し、
前記複数の方向の前記色味に基づいて、前記複数の方向の前記方向色差成分を混合する色差ブレンド処理部をさらに備え、
前記ブレンド処理部は、アンチエイリアス処理が施された前記高周波数成分としての前記輝度成分と、前記色差ブレンド処理部により混合された前記方向色差成分とを混合して前記出力画像を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記低周波成分方向検出部は、前記複数の方向ごとに、それらの方向に補間処理された前記色差成分に基づいて前記色味を算出する
請求項４に記載の画像処理装置。
【請求項６】
前記低周波成分方向検出部は、前記輝度成分に基づいて輝度振幅を算出し、前記輝度振幅と前記色差成分とに基づいて前記色味を算出する
請求項４に記載の画像処理装置。
【請求項７】
前記色差ブレンド処理部は、前記輝度成分に基づいて高周波レベルを算出し、前記高周波レベルおよび前記色味に基づいて、前記複数の方向の前記方向色差成分を混合する
請求項４に記載の画像処理装置。
【請求項８】
前記高周波成分は輝度成分であり、前記低周波成分は色成分である
請求項１に記載の画像処理装置。
【請求項９】
入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出ステップと、
前記高周波成分に対して、前記高周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理ステップと、
前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出ステップと、
前記低周波成分に対して、前記低周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理ステップと、
アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理ステップと
を含む画像処理方法。
【請求項１０】
入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出ステップと、
前記高周波成分に対して、前記高周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理ステップと、
前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出ステップと、
前記低周波成分に対して、前記低周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理ステップと、
アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より高品質な画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、相関処理により画像における色の折り返り（エイリアス）を抑制するアンチエイリアス手法が知られている（例えば、特許文献１参照）。
【０００３】
このようなアンチエイリアス手法では、画像を構成する輝度成分と色成分のうち、輝度成分に対してアンチエイリアス処理が施され、色成分と、アンチエイリアス処理が施された輝度成分とが合成されて、最終的な出力画像とされる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１３４９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、輝度成分に対してアンチエイリアスを行うべき方向と、色成分に対してアンチエイリアスを行うべき方向とは必ずしも同じ方向とはならないため、それらの方向が一致しない場合には画像に対して効率的にアンチエイリアス処理を行うことができない。
【０００６】
そうすると、ジャギーやモアレ等のエイリアスの発生を十分に抑制することができず、高品質な画像を得ることができなくなってしまう。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、より高品質な画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出部と、前記高周波成分に対して、前記高周波成分方向検出部により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理部と、前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出部と、前記低周波成分に対して、前記低周波成分方向検出部により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理部と、アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理部とを備える。
【０００９】
前記高周波成分アンチエイリアス処理部および前記低周波成分アンチエイリアス処理部には、アンチエイリアス処理として補間処理を行わせることができる。
【００１０】
前記高周波成分を輝度成分とし、前記低周波成分を色差成分とすることができる。
【００１１】
前記低周波成分方向検出部には、前記色差成分に基づいて複数の方向ごとに色味を算出させ、前記低周波成分アンチエイリアス処理部には、前記複数の方向ごとに、それらの方向に前記色差成分に対するアンチエイリアス処理を施させて方向色差成分を生成させ、前記複数の方向の前記色味に基づいて、前記複数の方向の前記方向色差成分を混合する色差ブレンド処理部をさらに設け、前記ブレンド処理部には、アンチエイリアス処理が施された前記高周波数成分としての前記輝度成分と、前記色差ブレンド処理部により混合された前記方向色差成分とを混合させて前記出力画像を生成させることができる。
【００１２】
前記低周波成分方向検出部には、前記複数の方向ごとに、それらの方向に補間処理された前記色差成分に基づいて前記色味を算出させることができる。
【００１３】
前記低周波成分方向検出部には、前記輝度成分に基づいて輝度振幅を算出させ、前記輝度振幅と前記色差成分とに基づいて前記色味を算出させることができる。
【００１４】
前記色差ブレンド処理部には、前記輝度成分に基づいて高周波レベルを算出させ、前記高周波レベルおよび前記色味に基づいて、前記複数の方向の前記方向色差成分を混合させることができる。
【００１５】
前記高周波成分を輝度成分とし、前記低周波成分を色成分とすることができる。
【００１６】
本技術の一側面の画像処理方法またはプログラムは、入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出ステップと、前記高周波成分に対して、前記高周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理ステップと、前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出ステップと、前記低周波成分に対して、前記低周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理ステップと、アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理ステップとを含む。
【００１７】
本技術の一側面においては、高周波成分方向検出部により入力画像の高周波成分に基づいて物体の方向が検出され、前記高周波成分に対して、前記高周波成分方向検出部により検出された方向にアンチエイリアス処理が施され、低周波成分方向検出部により前記入力画像の低周波成分に基づいて物体の方向が検出され、前記低周波成分に対して、前記低周波成分方向検出部により検出された方向にアンチエイリアス処理が施され、アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とが混合されて出力画像が生成される。
【発明の効果】
【００１８】
本技術の一側面によれば、より高品質な画像を得ることができる。
【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】画像処理装置の構成例を示す図である。
【図２】カラーフィルタ配列の一例を示す図である。
【図３】カラーフィルタ配列の一例を示す図である。
【図４】アンチエイリアス処理について説明するフローチャートである。
【図５】画像処理装置の構成例を示す図である。
【図６】アンチエイリアス処理について説明するフローチャートである。
【図７】画像処理装置の構成例を示す図である。
【図８】方向検出部の構成例を示す図である。
【図９】補間処理部の構成例を示す図である。
【図１０】色差算出部、色差成分補間処理部、および色味算出部の構成例を示す図である。
【図１１】フィルタ係数の一例を示す図である。
【図１２】色味値算出時のゲイン値について説明する図である。
【図１３】色味値の算出について説明する図である。
【図１４】色差算出部、色差成分補間処理部、および色味算出部の構成例を示す図である。
【図１５】色味最小方向選択部の構成例を示す図である。
【図１６】高周波レベルに応じた閾値について説明する図である。
【図１７】色差画像生成時のゲイン値について説明する図である。
【図１８】アンチエイリアス処理について説明するフローチャートである。
【図１９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２２】
〈第１の実施の形態〉
〈画像処理装置の構成例〉
本技術は、画像の高周波成分と低周波成分について、それぞれアンチエイリアスを行うべき方向、すなわち補間処理を行うべき方向を検出し、検出された方向に対して高周波成分と低周波成分の補間処理を行うことで、より高品質な画像を得ることができるようにするものである。
【００２３】
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２４】
図１に示す画像処理装置１１は、分離部２１、高周波成分方向検出部２２、高周波成分補間処理部２３、低周波成分方向検出部２４、低周波成分補間処理部２５、およびブレンド処理部２６を有している。
【００２５】
分離部２１は、入力された入力画像を高周波成分である高周波画像と、低周波成分である低周波画像とに分離させ、高周波画像を高周波成分方向検出部２２に供給するとともに、低周波画像を低周波成分方向検出部２４に供給する。
【００２６】
高周波成分方向検出部２２は、分離部２１から供給された高周波画像に基づいて、高周波画像における物体のエッジの方向、つまり高周波成分の変化の少ない方向を検出し、その検出結果と高周波画像とを高周波成分補間処理部２３に供給する。
【００２７】
高周波成分補間処理部２３は、高周波成分方向検出部２２から供給された検出結果および高周波画像に基づいて補間処理を行い、全画素位置に高周波成分を有する高周波画像を生成し、ブレンド処理部２６に供給する。
【００２８】
低周波成分方向検出部２４は、分離部２１から供給された低周波画像に基づいて、低周波画像における物体のエッジの方向、つまり低周波成分の変化の少ない方向を検出し、その検出結果と低周波画像とを低周波成分補間処理部２５に供給する。
【００２９】
低周波成分補間処理部２５は、低周波成分方向検出部２４から供給された検出結果および低周波画像に基づいて補間処理を行い、全画素位置に低周波成分を有する低周波画像を生成し、ブレンド処理部２６に供給する。
【００３０】
ブレンド処理部２６は、高周波成分補間処理部２３から供給された高周波画像と、低周波成分補間処理部２５から供給された低周波画像とをブレンド（混合）し、その結果得られた画像を出力画像として出力する。
【００３１】
ここで、入力画像として分離部２１に供給される入力画像は、例えばカラーフィルタ配列が図２に示すWhite配列（RGBW配列）である撮像素子により撮像されたRAW画像などとされる。
【００３２】
図２では、各正方形が１つの画素を表しており、各画素内に記された文字「R」、「G」、「B」、および「W」は、各画素に設けられたR（赤）、G（緑）、B（青）、およびW（白）の各色成分を透過させるカラーフィルタを示している。
【００３３】
したがって図２の例では、入力画像は、各画素がR成分、G成分、B成分、およびW成分のうちの何れか１つの成分を有する画像となる。なお、以下、入力画像におけるR成分、G成分、B成分、およびW成分のそれぞれを有する画素を、単にR画素、G画素、B画素、およびW画素とも称することとする。
【００３４】
このような入力画像が供給された場合、分離部２１は入力画像のうちの最も周波数が高い、つまり画素数が多いW画素を抽出して、W成分のみを有するW画像を高周波画像とし、高周波成分方向検出部２２に供給する。また、分離部２１は入力画像からR画素、G画素、およびB画素を抽出して、それらの各色成分からなる色成分画像を低周波画像として低周波成分方向検出部２４に供給する。
【００３５】
なお、入力画像から各色成分の画素を抽出する際には、どのような手法により画素の抽出が行われるようにしてもよい。例えば入力画像における色成分の配列が予め定められている場合には、分離部２１は入力画像上の各画素の位置、つまり画素アドレスから、それらの画素が有する色成分を特定することができる。
【００３６】
また、例えばカラーフィルタ配列が図３に示すベイヤー配列である撮像素子により撮像されたRAW画像が入力画像とされるようにしてもよい。
【００３７】
図３では、各正方形が１つの画素を表しており、各画素内に記された文字「R」、「G」、および「B」は、各画素に設けられたR（赤）、G（緑）、およびB（青）の各色成分を透過させるカラーフィルタを示している。
【００３８】
したがって図３の例では、入力画像は、各画素がR成分、G成分、およびB成分のうちの何れか１つの成分を有する画像となる。
【００３９】
このような入力画像が供給された場合、例えば分離部２１は入力画像から最も画素数が多いG画素を抽出して、G成分のみからなるG画像を高周波画像とするとともに、入力画像からR画素およびB画素を抽出して、それらの各色成分からなる画像を低周波画像とする。
【００４０】
なお、図３に示すベイヤー配列に対応する入力画像が供給された場合に、分離部２１が入力画像から輝度画像、つまりW画像を生成し、得られたW画像を高周波画像とするとともに、供給された入力画像そのものを低周波画像とするようにしてもよい。このように、入力画像は特定の画素配列に限定されるものではない。
【００４１】
さらに、例えば色成分のないモノクロ画像（輝度画像）が入力画像として供給された場合に、分離部２１が入力画像に対してBPF（Band Pass Filter）を用いたフィルタ処理を行い、入力画像から高周波成分と低周波成分とを抽出するようにしてもよい。この場合、入力画像から抽出された高周波成分が高周波画像とされ、入力画像から抽出された低周波成分が低周波画像とされる。
【００４２】
同様に、分離部２１が入力画像としてのカラー画像から高周波成分と低周波成分とを抽出し、高周波成分を高周波画像とするとともに、低周波成分を低周波画像としてもよい。
【００４３】
〈アンチエイリアス処理の説明〉
次に、画像処理装置１１の動作について説明する。
【００４４】
画像処理装置１１は、入力画像が供給されると、その入力画像に対するアンチエイリアス処理を行って、エイリアスがキャンセルされた出力画像を生成し、出力する。
【００４５】
以下、図４のフローチャートを参照して、画像処理装置１１によるアンチエイリアス処理について説明する。なお、ここでは画素配列が図２に示したWhite配列である画像が入力画像とされる場合を例として説明する。
【００４６】
ステップＳ１１において、分離部２１は、入力された入力画像を高周波画像と低周波画像とに分離させる。
【００４７】
すなわち、分離部２１は入力画像からW画像を抽出し、W画像を高周波画像として高周波成分方向検出部２２に供給する。また、分離部２１は入力画像からR画素、G画素、およびB画素からなる色成分画像を抽出し、色成分画像を低周波画像として低周波成分方向検出部２４に供給する。
【００４８】
ステップＳ１２において、高周波成分方向検出部２２は、分離部２１から供給された高周波画像に対する方向検出を行って、各領域における物体（被写体）のエッジの方向を検出し、その検出結果と高周波画像とを高周波成分補間処理部２３に供給する。
【００４９】
ここで高周波画像から検出された物体のエッジの方向は、高周波成分の変化が少ない方向であるから、この方向に沿って高周波画像の補間処理を行なえば、効果的かつ効率的に高周波成分に起因するエイリアスを抑制し、高品質な画像を得ることができる。以下では、このような物体のエッジの方向、つまり補間処理を行うべき方向をアンチエイリアス方向とも称することとする。
【００５０】
ステップＳ１３において、高周波成分補間処理部２３は、高周波成分方向検出部２２から供給された方向検出の結果に基づいて、高周波成分方向検出部２２から供給された高周波画像に対する空間的な補間処理を行い、ブレンド処理部２６に供給する。
【００５１】
例えば高周波成分補間処理部２３は、高周波画像の画素位置ごとに、その画素位置について求めたアンチエイリアス方向に並ぶW画素を用いた補間により、対象となっている画素位置のW成分を求める。これにより、全画素位置においてW成分を有するW画像が、補間処理された高周波画像として得られる。
【００５２】
ステップＳ１４において、低周波成分方向検出部２４は、分離部２１から供給された低周波画像に対する方向検出を行って、各領域における物体のエッジの方向を検出し、その検出結果と低周波画像とを低周波成分補間処理部２５に供給する。
【００５３】
低周波成分方向検出部２４により検出されるアンチエイリアス方向は、効果的かつ効率的に低周波成分に起因するエイリアスを抑制することができる、低周波画像に対する補間処理を行うべき方向である。例えば低周波画像のアンチエイリアス方向はR、G、およびBの各色で共通のものが１つ算出される。
【００５４】
ステップＳ１５において、低周波成分補間処理部２５は、低周波成分方向検出部２４から供給された方向検出の結果に基づいて、低周波成分方向検出部２４から供給された低周波画像に対する空間的な補間処理を色成分ごとに行い、ブレンド処理部２６に供給する。
【００５５】
例えば低周波成分補間処理部２５は、高周波成分補間処理部２３と同様の処理を行って、全画素位置にR成分、G成分、およびB成分の各色成分を有する色成分画像を、補間処理された低周波画像として生成する。
【００５６】
ステップＳ１６において、ブレンド処理部２６は、高周波成分補間処理部２３から供給された高周波画像、および低周波成分補間処理部２５から供給された低周波画像に基づいてブレンド処理を行い、その結果得られた出力画像を出力する。すなわち、ブレンド処理部２６はブレンド処理により高周波画像と低周波画像を混合（合成）して、エイリアスがキャンセルされた出力画像を生成する。
【００５７】
例えば低周波画像がR、G、およびBの各色成分を有する色成分画像である場合、より詳細には、例えばそれらの色成分と、W成分との色差が算出されて低周波画像とされ、低周波画像と高周波画像の和を求めることにより、出力画像が生成される。
【００５８】
また、例えば入力画像がモノクロ画像などであり、低周波画像が輝度成分等の低周波成分とされ、高周波画像が輝度成分等の高周波成分とされるときには、低周波画像と高周波画像とをアルファブレンドなどの重み付き加算により混合することで、出力画像が生成される。
【００５９】
このようにして出力画像が出力されると、アンチエイリアス処理は終了する。
【００６０】
以上のようにして画像処理装置１１は、高周波画像と低周波画像について、それぞれアンチエイリアス方向を検出して補間処理を行う。これにより、高周波成分と低周波成分のそれぞれに起因するエイリアスを効果的かつ効率的に抑制し、より高品質な画像を得ることができるようになる。
【００６１】
〈第２の実施の形態〉
〈画像処理装置の構成例〉
続いて、本技術を適用した画像処理装置の他の実施の形態について説明する。図５は、本技術を適用した画像処理装置の他の実施の形態の構成例を示す図である。
【００６２】
図５に示す画像処理装置５１は、輝度生成部６１、輝度成分方向検出部６２、輝度成分補間処理部６３、色成分方向検出部６４、色成分補間処理部６５、およびブレンド処理部６６を有している。
【００６３】
画像処理装置５１では、輝度成分方向検出部６２乃至ブレンド処理部６６が、図１に示した画像処理装置１１の高周波成分方向検出部２２乃至ブレンド処理部２６に対応する。
【００６４】
また、画像処理装置５１には、例えば画素配列が図３に示したベイヤー配列である画像が入力画像として入力される。なお、図５の例においても入力画像は特定の画素配列の画像に限定されるものではないが、以下では図３に示したベイヤー配列の画像が入力画像として供給されるものとして説明を続ける。
【００６５】
輝度生成部６１は、供給された入力画像から輝度成分からなる輝度画像を生成し、輝度成分方向検出部６２に供給する。この例では、輝度画像が上述した高周波画像に対応する。
【００６６】
輝度成分方向検出部６２は、輝度生成部６１から供給された輝度画像に基づいて、輝度画像における物体（輝度）のエッジの方向、つまり輝度成分の変化の少ない方向をアンチエイリアス方向として検出し、その検出結果と輝度画像を輝度成分補間処理部６３に供給する。
【００６７】
輝度成分補間処理部６３は、輝度成分方向検出部６２から供給された検出結果および輝度画像に基づいて補間処理を行い、全画素位置に輝度成分を有する輝度画像を生成し、ブレンド処理部６６に供給する。
【００６８】
色成分方向検出部６４は、供給された入力画像に基づいて、入力画像における物体のエッジの方向をアンチエイリアス方向として検出し、その検出結果と入力画像を色成分補間処理部６５に供給する。この例では、入力画像そのものが上述した低周波画像に対応する。
【００６９】
色成分補間処理部６５は、色成分方向検出部６４から供給された検出結果および入力画像に基づいて補間処理を行い、全画素位置に各色成分を有する色成分画像を生成し、ブレンド処理部６６に供給する。
【００７０】
ブレンド処理部６６は、輝度成分補間処理部６３から供給された輝度画像と、色成分補間処理部６５から供給された色成分画像とをブレンドし、その結果得られた出力画像を出力する。
【００７１】
〈アンチエイリアス処理の説明〉
次に、図６のフローチャートを参照して、画像処理装置５１により行われるアンチエイリアス処理について説明する。
【００７２】
ステップＳ４１において、輝度生成部６１は、供給された入力画像から輝度画像を生成し、輝度成分方向検出部６２に供給する。
【００７３】
例えば輝度生成部６１は、必要に応じて入力画像のR画素、G画素、およびB画素を用いた補間処理により、輝度成分を生成しようとする画素位置のR成分、G成分、およびB成分を求める。そして、輝度生成部６１は、例えばその画素位置について2G＋R＋Bを計算し、得られた値を輝度成分とする。すなわち、注目する画素位置におけるG成分を２倍した値、R成分の値、およびB成分の値の和が、その画素位置における輝度成分の値として算出される。
【００７４】
輝度生成部６１は、このようにしていくつかの画素位置における輝度成分を算出することで、輝度画像を生成する。
【００７５】
ステップＳ４２において、輝度成分方向検出部６２は、輝度生成部６１から供給された輝度画像に対する方向検出を行って、輝度画像における物体のエッジの方向をアンチエイリアス方向として検出し、その検出結果と輝度画像を輝度成分補間処理部６３に供給する。
【００７６】
ステップＳ４３において、輝度成分補間処理部６３は、輝度成分方向検出部６２から供給された方向検出の結果に基づいて、輝度成分方向検出部６２から供給された輝度画像に対する空間的な補間処理を行い、ブレンド処理部６６に供給する。
【００７７】
補間処理では、方向検出の結果により示されるアンチエイリアス方向に並ぶ画素が用いられて輝度画像の画素の補間が行われ、全画素位置で輝度成分を有する輝度画像が生成される。これにより、輝度成分に起因するエイリアスが抑制（キャンセル）される。
【００７８】
ステップＳ４４において、色成分方向検出部６４は、供給された入力画像に対する方向検出を行って、入力画像における物体のエッジの方向をアンチエイリアス方向として検出し、その検出結果と入力画像を色成分補間処理部６５に供給する。
【００７９】
ステップＳ４５において、色成分補間処理部６５は、色成分方向検出部６４から供給された方向検出の結果に基づいて、色成分方向検出部６４から供給された入力画像に対する空間的な補間処理を行い、ブレンド処理部６６に供給する。すなわち、ステップＳ４５では、図４のステップＳ１５における場合と同様に、色成分ごとに補間処理が行われ、全画素位置においてR成分、G成分、およびB成分を有する色成分画像が生成される。このような補間処理により、各色成分に起因するエイリアスが抑制（キャンセル）される。
【００８０】
ステップＳ４６において、ブレンド処理部６６は、輝度成分補間処理部６３から供給された輝度画像、および色成分補間処理部６５から供給された色成分画像に基づいてブレンド処理を行い、その結果得られた出力画像を出力する。この例では、例えば図４のステップＳ１６と同様の処理が行われ、全画素位置においてR成分、G成分、およびB成分を有する色成分画像が出力画像として得られる。
【００８１】
以上のようにして画像処理装置５１は、より高い周波数成分を有する輝度画像と、より低い周波数成分を有する色成分画像（入力画像）について、それぞれアンチエイリアス方向を検出して補間処理を行う。これにより、輝度画像と色成分画像のそれぞれに起因するエイリアスを効果的かつ効率的に抑制し、より高品質な画像を得ることができるようになる。
【００８２】
〈第３の実施の形態〉
〈画像処理装置の構成例〉
次に、本技術を適用した画像処理装置のさらに具体的な実施の形態について説明する。図７は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００８３】
図７に示す画像処理装置９１は、方向検出部１０１、補間処理部１０２、色差算出部１０３、色差成分補間処理部１０４、色味算出部１０５、色味最小方向選択部１０６、およびブレンド処理部１０７を有している。
【００８４】
例えばこの画像処理装置９１には、画素配列が図２に示したWhite配列である画像が入力画像として入力される。また、画像処理装置９１では、入力画像から抽出されたW画像が高周波画像として扱われ、入力画像から抽出された色成分画像、より詳細には入力画像から抽出されたR成分、G成分、およびB成分と、W成分との色差を成分とする色差画像が低周波画像として扱われる。
【００８５】
なお、入力画像からのW画像や色成分画像の抽出は、画像処理装置９１の前段において行われるようにしてもよいし、画像処理装置９１の各部で行われるようにしてもよい。以下では、これらのW画像や色成分画像の抽出は、必要に応じて画像処理装置９１の各部において行われるものとし、説明時には単にW画像や色成分画像が供給されると記すこととする。
【００８６】
方向検出部１０１は、供給された入力画像のW成分であるW画像に基づいて、W画像における物体のエッジの方向を検出し、その検出結果を補間処理部１０２に供給する。
【００８７】
より詳細には、方向検出部１０１では、W画像における水平方向、垂直方向、右斜め方向、および左斜め方向の各方向についての物体のエッジの方向らしさの度合いが算出されて補間処理部１０２に供給される。また、以下では、右斜め方向および左斜め方向を特に区別する必要のない場合には、単に斜め方向とも称することとする。
【００８８】
補間処理部１０２は、方向検出部１０１から供給された検出結果に基づいて、供給されたW画像に対する補間処理を行い、ブレンド処理部１０７に供給する。補間処理部１０２では、方向検出部１０１から供給された検出結果により示されるアンチエイリアス方向への補間処理が行われ、全画素位置においてW成分を有するW画像が生成される。
【００８９】
色差算出部１０３は、供給された入力画像に基づいて、入力画像におけるR成分、G成分、およびB成分の色成分ごとに水平方向、垂直方向、右斜め方向、および左斜め方向の各方向についてW成分との色差成分を算出し、色差成分補間処理部１０４に供給する。
【００９０】
ここで、例えばR成分とW成分との水平方向の色差成分は、注目する画素位置（以下、注目画素とも称する）に対して水平方向に並ぶW画素を用いて補間により生成した注目画素位置のW成分と、注目画素位置のR成分との差分を求めることにより算出される。
【００９１】
以下では、R成分のW成分との色差成分を色差成分ΔRとも称することとし、色差成分ΔRからなる画像をR色差画像とも称することとする。同様に、以下、G成分のW成分との色差成分を色差成分ΔGとも称し、色差成分ΔGからなる画像をG色差画像とも称する。また、以下、B成分のW成分との色差成分を色差成分ΔBとも称し、色差成分ΔBからなる画像をB色差画像とも称する。
【００９２】
さらに、以下では色差成分ΔR、色差成分ΔG、および色差成分ΔBを特に区別する必要のない場合、単に色差成分とも称し、R色差画像、G色差画像、およびB色差画像を特に区別する必要のない場合、単に色差画像とも称する。
【００９３】
色差成分補間処理部１０４は、色差算出部１０３から供給された、各方向について算出された色成分ごとの色差画像に対して補間処理を行い、色味算出部１０５および色味最小方向選択部１０６に供給する。色差成分補間処理部１０４での補間処理により、全画素位置において色差成分を有する色差画像が得られる。
【００９４】
色味算出部１０５は、色差成分補間処理部１０４から供給された色差画像と、供給されたW画像とに基づいて、各方向について色味を示す色味値を算出し、色味最小方向選択部１０６に供給する。
【００９５】
例えば水平方向の色味値は、水平方向に並ぶW画素を用いて補間処理により求められたW成分との色差成分から算出されたものであり、色成分画像の色味を示している。ここでは色味値が大きいほど色味（色差）が小さく、色が薄いことを示している。また、色味値はR、G、およびBの各色で共通のものが１つ算出される。
【００９６】
したがって、所定方向について求めた色味値が大きい場合には、その方向は色成分画像（入力画像）において色が薄い方向であるので、その方向への補間処理によって、各色成分に起因するエイリアスをより効果的かつ効率的に抑制することができる。換言すれば、色味値が大きいほどアンチエイリアス方向らしさ、つまり物体のエッジ方向らしさの度合いが高いということができる。
【００９７】
色味最小方向選択部１０６は、色味算出部１０５から供給された各方向の色味値と、供給されたW画像とに基づいて、色差成分補間処理部１０４から供給された各方向の色差画像のなかから、最も効果的かつ効率的にエイリアスを抑制することのできる色差画像を選択し、ブレンド処理部１０７に供給する。より詳細には、色味最小方向選択部１０６は、色味値とW画像とから定まる寄与率で各方向の色差画像を混合し、ブレンド処理部１０７に供給する。
【００９８】
ブレンド処理部１０７は、補間処理部１０２から供給されたW画像と、色味最小方向選択部１０６から供給された色差画像とを混合し、その結果得られた出力画像を出力する。具体的にはR色差画像、G色差画像、およびB色差画像のそれぞれとW画像とを加算することによりR画像、G画像、およびB画像が得られ、それらのR画像、G画像、およびB画像が出力画像とされる。
【００９９】
〈方向検出部の構成例〉
次に、画像処理装置９１の各部についてより詳細に説明する。
【０１００】
まず、方向検出部１０１について説明する。
【０１０１】
方向検出部１０１には、各方向についての物体のエッジの方向らしさの度合いを算出するブロックが設けられている。例えば方向検出部１０１には、水平方向および垂直方向についての物体のエッジの方向らしさの度合いを算出するためのブロックとして、図８に示すブロックが設けられている。
【０１０２】
図８では、水平方向についての物体のエッジの方向らしさの度合いを算出するためのブロックとしてフィルタ処理部１３１−１、相関算出部１３２−１−１、相関算出部１３２−１−２、平均値算出部１３３−１、および正規化部１３４−１が設けられている。同様に、垂直方向についての物体のエッジの方向らしさの度合いを算出するためのブロックとしてフィルタ処理部１３１−２、相関算出部１３２−２−１、相関算出部１３２−２−２、平均値算出部１３３−２、および正規化部１３４−２が設けられている。
【０１０３】
また、図中の矢印A11により示される四角形は入力画像の一部分を表しており、入力画像内の各四角形は１つの画素を表している。また、図８では、図中、横方向が入力画像における水平方向を示しており、図中、縦方向が入力画像における垂直方向を示している。
【０１０４】
フィルタ処理部１３１−１は、例えばLPF（Low Pass Filter）などからなり、供給された入力画像、より詳細にはW画像に対してLPFによるフィルタ処理を施すことで、水平方向に補間されたW画像を生成する。
【０１０５】
例えばフィルタ処理部１３１−１は、これからW成分を得ようとする注目画素がW画素である場合、その注目画素近傍において水平方向に並ぶ３つのW画素を重み付き加算することで、注目画素位置におけるW成分を算出する。このとき、例えば水平方向に並ぶ３つのW画素のうち、中央に位置するW画素に重み（フィルタ係数）として「２」が乗算され、両端に位置するW画素に重みとして「１」が乗算されて重み付き加算が行われる。
【０１０６】
これにより、全画素位置にW成分を有するW画像が得られる。このようにして水平方向の補間を行うフィルタ処理部１３１−１は、例えば高周波画像を生成する、図１に示した分離部２１に相当する。
【０１０７】
相関算出部１３２−１−１および相関算出部１３２−１−２は、フィルタ処理部１３１−１から供給された、水平方向に補間されたW画像に基づいて、水平方向に隣接して並ぶW画素同士の相関値を算出し、平均値算出部１３３−１に供給する。
【０１０８】
例えば矢印A12に示すように注目画素を中心とする３画素×３画素が用いられて、注目画素における水平方向についての物体のエッジの方向らしさの度合いが算出されるとする。ここで、矢印A12に示される各四角形は１つのW画素、つまりW画像の画素を表している。
【０１０９】
このような場合、例えば相関算出部１３２−１−１は、注目画素を含み垂直方向に連続して並ぶ３つのW画素と、それらの３つのW画素に対して図中、右側に隣接する３つのW画素との相関を示すSSD（Sum of Squared Difference）を相関値として算出する。
【０１１０】
具体的には矢印A12に示される各W画素のうち、図中、中央に並ぶ上からi番目のW画素のW成分の値をxi（但しi=0,1,2）とし、図中、右側に並ぶ上からi番目のW画素のW成分の値をyi（但しi=0,1,2）とすると、相関算出部１３２−１−１は次式（１）により相関値を算出する。
【０１１１】
【数１】
2016051187.tif 000003
【０１１２】
なお、式（１）においてωiはi番目のW画素に対する重みを示しており、ω0＝1，ω1＝2，ω2＝1である。
【０１１３】
また、相関算出部１３２−１−２も相関算出部１３２−１−１と同様にして、注目画素を含み垂直方向に連続して並ぶ３つのW画素と、それらの３つのW画素に対して図中、左側に隣接する３つのW画素との相関を示すSSDを相関値として算出する。すなわち、式（１）と同様の計算が行われ、相関値が算出される。
【０１１４】
なお、以下、相関算出部１３２−１−１および相関算出部１３２−１−２を特に区別する必要のない場合、単に相関算出部１３２−１とも称する。相関算出部１３２−１では、W画像の各画素が注目画素とされて相関値が算出される。
【０１１５】
平均値算出部１３３−１は、W画像の画素ごとに、相関算出部１３２−１−１から供給された相関値と、相関算出部１３２−１−２から供給された相関値との平均値を算出し、正規化部１３４−１に供給する。
【０１１６】
正規化部１３４−１は、平均値算出部１３３−１から供給された平均値を0から1までの間の値に正規化し、水平方向についての物体のエッジの方向らしさの度合いidxT_Hを算出し、補間処理部１０２に供給する。例えば正規化部１３４−１は、次式（２）を計算することにより、水平方向についての物体のエッジの方向らしさの度合いidxT_Hを算出する。
【０１１７】
【数２】
2016051187.tif 000004
【０１１８】
なお、式（２）において、xは平均値算出部１３３−１から供給された平均値を示しており、WDSigmaHVは所定の定数を示している。
【０１１９】
このようにして算出されたエッジの方向らしさの度合いidxT_Hは、その値が大きいほど水平方向に並ぶW画素同士の相関が高く、物体のエッジの方向らしい、つまりアンチエイリアス方向らしいことを示している。エッジの方向らしさの度合いidxT_Hは、W画像の画素ごとに算出される。
【０１２０】
フィルタ処理部１３１−２は、例えばLPFなどからなり、供給された入力画像、より詳細にはW画像に対してLPFによるフィルタ処理を施すことで、垂直方向に補間されたW画像を生成する。
【０１２１】
例えばフィルタ処理部１３１−２は、これからW成分を得ようとする注目画素がW画素である場合、その注目画素近傍において垂直方向に並ぶ３つのW画素を重み付き加算することで、注目画素位置におけるW成分を算出する。このとき、例えば垂直方向に並ぶ３つのW画素のうち、中央に位置するW画素に重み（フィルタ係数）として「２」が乗算され、両端（上下）に位置するW画素に重みとして「１」が乗算されて重み付き加算が行われる。
【０１２２】
これにより、全画素位置にW成分を有するW画像が得られる。このようにして垂直方向の補間を行うフィルタ処理部１３１−２は、例えば高周波画像を生成する、図１に示した分離部２１に相当する。
【０１２３】
相関算出部１３２−２−１および相関算出部１３２−２−２は、フィルタ処理部１３１−２から供給された、垂直方向に補間されたW画像に基づいて、垂直方向に隣接して並ぶW画素同士の相関値を算出し、平均値算出部１３３−２に供給する。
【０１２４】
例えば矢印A13に示すように注目画素を中心とする３画素×３画素が用いられて、注目画素における垂直方向についての物体のエッジの方向らしさの度合いが算出されるとする。ここで、矢印A13に示される各四角形は１つのW画素を表している。
【０１２５】
このような場合、例えば相関算出部１３２−２−１は、注目画素を含み水平方向に連続して並ぶ３つのW画素と、それらの３つのW画素に対して図中、上側に隣接する３つのW画素との相関を示すSSDを相関値として算出する。ここで、相関値は上述した式（１）と同様の計算により算出される。
【０１２６】
また、相関算出部１３２−２−２も相関算出部１３２−２−１と同様にして、注目画素を含み水平方向に連続して並ぶ３つのW画素と、それらの３つのW画素に対して図中、下側に隣接する３つのW画素との相関を示すSSDを相関値として算出する。
【０１２７】
なお、以下、相関算出部１３２−２−１および相関算出部１３２−２−２を特に区別する必要のない場合、単に相関算出部１３２−２とも称する。相関算出部１３２−２では、W画像の各画素が注目画素とされて相関値が算出される。
【０１２８】
平均値算出部１３３−２は、W画像の画素ごとに、相関算出部１３２−２−１から供給された相関値と、相関算出部１３２−２−２から供給された相関値との平均値を算出し、正規化部１３４−２に供給する。
【０１２９】
正規化部１３４−２は、平均値算出部１３３−２から供給された平均値を正規化し、垂直方向についての物体のエッジの方向らしさの度合いを算出し、補間処理部１０２に供給する。例えば正規化部１３４−２は、上述した式（２）と同様の計算を行うことで、垂直方向についての物体のエッジの方向らしさの度合いを算出する。
【０１３０】
なお、以下、フィルタ処理部１３１−１とフィルタ処理部１３１−２、相関算出部１３２−１と相関算出部１３２−２、平均値算出部１３３−１と平均値算出部１３３−２、および正規化部１３４−１と正規化部１３４−２のそれぞれを特に区別する必要のない場合、単にフィルタ処理部１３１、相関算出部１３２、平均値算出部１３３、および正規化部１３４とも称することとする。
【０１３１】
また、図８では水平方向と垂直方向について物体のエッジの方向らしさの度合いを算出するための構成を例として示した。これに加えて方向検出部１０１には、右斜め方向と左斜め方向について物体のエッジの方向らしさの度合いを算出するためのブロックとして、図８に示したフィルタ処理部１３１乃至正規化部１３４と同様のブロックが設けられている。
【０１３２】
以下では、水平方向や垂直方向だけでなく、右斜め方向や左斜め方向についての物体のエッジの方向らしさの度合いを求めるためのブロックについても、単にフィルタ処理部１３１、相関算出部１３２、平均値算出部１３３、正規化部１３４とも称することとする。
【０１３３】
以上のように、方向検出部１０１において各方向についてのW画像における物体のエッジの方向らしさの度合いを算出することは、W画像のアンチエイリアス方向を検出することであるということができる。
【０１３４】
〈補間処理部の構成例〉
続いて、補間処理部１０２のより詳細な構成について説明する。図９は、補間処理部１０２のより詳細な構成例を示す図である。
【０１３５】
図９に示す補間処理部１０２には、差分絶対値算出部１６１、差分算出部１６２、乗算部１６３、クリップ処理部１６４、差分算出部１６５、乗算部１６６、クリップ処理部１６７、フィルタ処理部１６８、フィルタ処理部１６９、フィルタ処理部１７０、およびブレンド処理部１７１が設けられている。
【０１３６】
差分絶対値算出部１６１は、各画素位置について、方向検出部１０１から供給された、右斜め方向についての物体のエッジの方向らしさの度合いと、左斜め方向についての物体のエッジの方向らしさの度合いとの差分絶対値を算出し、差分算出部１６２および差分算出部１６５に供給する。
【０１３７】
差分算出部１６２は、各画素位置について、方向検出部１０１から供給された水平方向についての物体のエッジの方向らしさの度合いと、方向検出部１０１から供給された垂直方向についての物体のエッジの方向らしさの度合い、および差分絶対値算出部１６１から供給された差分絶対値との差分を算出し、乗算部１６３に供給する。すなわち、水平方向についての物体のエッジの方向らしさの度合いから、垂直方向についての物体のエッジの方向らしさの度合いと差分絶対値の和が減算されて差分が算出される。
【０１３８】
乗算部１６３は、差分算出部１６２から供給された差分に所定の係数を乗算し、クリップ処理部１６４に供給する。
【０１３９】
クリップ処理部１６４は、乗算部１６３から供給された差分に対してクリップ処理を行い、その結果得られた重みωHをブレンド処理部１７１に供給する。クリップ処理では、供給された差分の値が0から1の間の値となるように、必要に応じて差分の値がクリップされる。このようにして得られた重みωHは、水平方向についての物体のエッジの方向らしさの度合いが大きいほど大きくなる。
【０１４０】
差分算出部１６５は、各画素位置について、方向検出部１０１から供給された垂直方向についての物体のエッジの方向らしさの度合いと、方向検出部１０１から供給された水平方向についての物体のエッジの方向らしさの度合い、および差分絶対値算出部１６１から供給された差分絶対値との差分を算出し、乗算部１６６に供給する。すなわち、垂直方向についての物体のエッジの方向らしさの度合いから、水平方向についての物体のエッジの方向らしさの度合いと差分絶対値の和が減算されて差分が算出される。
【０１４１】
乗算部１６６は、差分算出部１６５から供給された差分に所定の係数を乗算し、クリップ処理部１６７に供給する。
【０１４２】
クリップ処理部１６７は、乗算部１６６から供給された差分に対してクリップ処理を行い、その結果得られた重みωVをブレンド処理部１７１に供給する。クリップ処理では、供給された差分の値が0から1の間の値となるように、必要に応じて差分の値がクリップされる。このようにして得られた重みωVは、垂直方向についての物体のエッジの方向らしさの度合いが大きいほど大きくなる。
【０１４３】
フィルタ処理部１６８は、例えばLPFによるフィルタ処理によって、供給されたW画像に対して水平方向の空間的な補間処理を行うことで、水平方向に補間されたW画像を生成し、ブレンド処理部１７１に供給する。水平方向の補間処理では、W画像の水平方向に並ぶW画素のW成分が重み付き加算されて、注目する画素位置のW成分が算出される。これにより、全画素位置にW成分を有するW画像が生成される。
【０１４４】
フィルタ処理部１６９は、例えばLPFによるフィルタ処理によって、供給されたW画像に対して垂直方向の空間的な補間処理を行うことで、垂直方向に補間されたW画像を生成し、ブレンド処理部１７１に供給する。垂直方向の補間処理では、W画像の垂直方向に並ぶW画素のW成分が重み付き加算されて、注目する画素位置のW成分が算出される。これにより、全画素位置にW成分を有するW画像が生成される。
【０１４５】
フィルタ処理部１７０は、例えばLPFによるフィルタ処理によって、供給されたW画像に対して斜め方向の空間的な補間処理を行うことで、斜め方向に補間されたW画像を生成し、ブレンド処理部１７１に供給する。斜め方向の補間処理では、例えば注目する画素位置を中心とする矩形領域内にあるW画素のW成分が重み付き加算されて、注目する画素位置のW成分が算出される。これにより、全画素位置にW成分を有するW画像が生成される。
【０１４６】
ブレンド処理部１７１は、クリップ処理部１６４およびクリップ処理部１６７から供給された重みを用いて、フィルタ処理部１６８乃至フィルタ処理部１７０から供給されたW画像を混合し、ブレンド処理部１０７に供給する。
【０１４７】
例えばブレンド処理部１７１は、W画像の画素ごとに次式（３）を計算することで、W画像を混合する。
【０１４８】
【数３】
2016051187.tif 000005
【０１４９】
なお、式（３）においてWは混合により得られるW画像の画素のW成分を示しており、WH、WV、およびWADは、フィルタ処理部１６８、フィルタ処理部１６９、およびフィルタ処理部１７０で得られたW画像、より詳細にはW画像の画素のW成分の値を示している。また、ωHおよびωVは、クリップ処理部１６４およびクリップ処理部１６７から出力された重みを示している。
【０１５０】
したがって、式（３）の計算では、物体のエッジの方向らしさの度合いが大きい方向、つまりアンチエイリアス方向らしい方向への補間により得られたW画像ほど、最終的なW画像への寄与率が高くなる。
【０１５１】
換言すれば、アンチエイリアス方向らしい方向への補間により得られたW画像が選択されて、最終的なW画像とされる。すなわち、補間処理部１０２はW画像に対して、検出されたアンチエイリアス方向へのアンチエイリアス処理を行い、W成分に起因するエイリアスを抑制（キャンセル）する。
【０１５２】
〈色差算出部、色差成分補間処理部、および色味算出部の構成例〉
次に、図７に示した色差算出部１０３、色差成分補間処理部１０４、および色味算出部１０５のより詳細な構成例について説明する。
【０１５３】
これらの色差算出部１０３乃至色味算出部１０５には水平方向、垂直方向、右斜め方向、および左斜め方向の各方向について、色差画像と色味値を得るためのブロックが設けられている。
【０１５４】
例えば色差算出部１０３乃至色味算出部１０５には、水平方向または垂直方向について色差画像と色味値を得るためのブロックとして図１０に示すブロックが設けられている。なお、ここでは図１０に示すブロックが水平方向について色差画像と色味値を得るためのブロックであるものとして説明を続けるが、垂直方向についても同様であるため、その説明は省略する。
【０１５５】
図１０に示す例では、水平方向について色差画像と色味値を得るための構成として、色差算出部２０１、フィルタ処理部２０２、相関算出部２０３、相関算出部２０４、相関算出部２０５、平均値算出部２０６、乗算部２０７、最大値選択部２０８、最小値選択部２０９、差分算出部２１０、ゲイン生成部２１１、乗算部２１２、および正規化部２１３が設けられている。
【０１５６】
この例では、色差算出部２０１は図７に示した色差算出部１０３に設けられており、フィルタ処理部２０２は図７に示した色差成分補間処理部１０４に設けられており、相関算出部２０３乃至正規化部２１３は図７に示した色味算出部１０５に設けられている。
【０１５７】
色差算出部２０１は、供給された入力画像に基づいて水平方向についてのR成分、G成分、およびB成分と、W成分との色差成分（色差画像）を算出し、フィルタ処理部２０２に供給する。
【０１５８】
例えばR成分を有する所定の画素位置を注目画素として、その注目画素の色差成分ΔRを算出する場合、色差算出部２０１は、注目画素に対して水平方向に隣接する画素、つまり注目画素の右側および左側に隣接する画素のW成分の平均値を求めることで、注目画素位置におけるW成分を算出する。そして、色差算出部２０１は、注目画素位置におけるR成分から、注目画素位置におけるW成分を減算して得られた値を、注目画素位置における色差成分ΔRとする。
【０１５９】
このように入力画像におけるR成分、G成分、およびB成分の何れかの成分を有する画素を順次、注目画素とし、注目画素に対して水平方向に隣接する画素のW成分を利用して、注目画素におけるW成分と他の色成分の差分を算出することで、色差成分が得られる。
【０１６０】
なお、水平方向における場合だけでなく垂直方向における場合においても、垂直方向に並ぶ画素のW成分を利用することで、垂直方向の色差成分を得ることができる。
【０１６１】
フィルタ処理部２０２は、色差算出部２０１から供給された色差成分に対して色差成分ごとに平滑化補間処理を行うことでR色差画像、G色差画像、およびB色差画像を生成し、色味最小方向選択部１０６に供給する。また、フィルタ処理部２０２は、R色差画像およびG色差画像を相関算出部２０３に供給し、R色差画像およびB色差画像を相関算出部２０４に供給し、G色差画像およびB色差画像を相関算出部２０５に供給する。
【０１６２】
例えばフィルタ処理部２０２は、色差算出部２０１から供給された色差成分に対してLPFによるフィルタ処理を施すことで各色成分の色差画像を生成する。
【０１６３】
より具体的には、フィルタ処理部２０２は、例えば図１１に示すフィルタ係数を用いて、入力画像における同色の色差成分の値を重み付き加算することで空間的な平滑化補間を行い、色差画像を生成する。
【０１６４】
なお、図１１において１つの四角形は色差画像における１つの画素を表しており、各画素内に記された数値はその画素のフィルタ係数を示している。この例では、９画素×９画素の矩形領域内の各画素に対して値が１以上であるフィルタ係数が定められている。
【０１６５】
したがって、例えば注目画素の色差成分ΔRを得ようとする場合には、その注目画素を中心とする９画素×９画素の矩形領域内の画素のうち、色差成分ΔRを有する画素が計算に用いられる対象画素とされる。そして、それらの対象画素位置の色差成分ΔRに対して、図１１に示す、各対象画素位置に対応するフィルタ係数が乗算され、フィルタ係数が乗算された色差成分ΔRの和が求められて、注目画素位置の色差成分ΔRとされる。
【０１６６】
このようにして色差成分に対する平滑化補間を行うことで、色差画像の全画素位置における色差成分ΔR、色差成分ΔG、および色差成分ΔBが得られる。
【０１６７】
図１０の説明に戻り、相関算出部２０３は、フィルタ処理部２０２から供給されたR色差画像とG色差画像の相関値を算出し、平均値算出部２０６に供給する。
【０１６８】
例えば相関算出部２０３は、各画素位置を順次、注目画素として次式（４）を計算し、相関値として差分二乗値SDを算出する。
【０１６９】
【数４】
2016051187.tif 000006
【０１７０】
なお、式（４）においてxおよびyは、それぞれ注目画素位置における色差成分ΔRおよび色差成分ΔGを示している。
【０１７１】
したがって、式（４）ではR色差画像における所定画素の画素値（色差成分ΔR）と、その所定画素と同じ位置にあるG色差画像の画素の画素値（色差成分ΔG）の差分二乗値が相関値SDとして算出される。
【０１７２】
相関算出部２０４は、フィルタ処理部２０２から供給されたR色差画像とB色差画像の相関値を算出し、平均値算出部２０６に供給する。また、相関算出部２０５は、フィルタ処理部２０２から供給されたG色差画像とB色差画像の相関値を算出し、平均値算出部２０６に供給する。これらの相関算出部２０４および相関算出部２０５では、相関算出部２０３における場合と同様の計算が行われて、相関値が算出される。
【０１７３】
平均値算出部２０６は、色差画像の画素ごとに、相関算出部２０３乃至相関算出部２０５から供給された相関値の平均値を算出し、乗算部２０７に供給する。乗算部２０７は、平均値算出部２０６から供給された平均値に、図示せぬレジスタ等から供給された定数を乗算し、乗算部２１２に供給する。
【０１７４】
最大値選択部２０８は、供給されたW画像の各画素を順番に注目画素とし、W画像における注目画素近傍の領域について、その領域内にある画素のW成分のなかから値が最大のものを選択し、差分算出部２１０に供給する。すなわち、最大値選択部２０８では、W画像（入力画像）の画素ごとにW成分の最大値が選択されて差分算出部２１０に供給される。
【０１７５】
最小値選択部２０９は、供給されたW画像の各画素を順番に注目画素とし、W画像における注目画素近傍の領域について、その領域内にある画素のW成分のなかから値が最小のものを選択し、差分算出部２１０に供給する。すなわち、最小値選択部２０９では、W画像（入力画像）の画素ごとにW成分の最小値が選択されて差分算出部２１０に供給される。
【０１７６】
差分算出部２１０は、W画像（入力画像）の画素ごとに、最大値選択部２０８から供給された最大値と、最小値選択部２０９から供給された最小値との差分値を求め、ゲイン生成部２１１に供給する。差分算出部２１０で算出される差分値は、注目画素近傍の領域における輝度振幅を示している。
【０１７７】
ゲイン生成部２１１は、W画像（入力画像）の画素ごとに、差分算出部２１０から供給された差分値に基づいて、色味値を算出する際のゲイン値を生成し、乗算部２１２に供給する。このゲイン値を用いることで、輝度振幅が加味された色味値が算出されるようになる。
【０１７８】
ここで、ゲイン生成部２１１により生成されるゲイン値は、色味最小方向選択部１０６において、水平方向、垂直方向、および斜め方向のうち、色味が最小となる方向を検出（選択）するときの方向検出の感度を制御するためのゲインである。
【０１７９】
例えばゲイン生成部２１１は図１２に示すように、差分値が大きい場合にはゲイン値が大きくなり、差分値が小さい場合にはゲイン値が小さくなるようにゲイン値を算出する。なお、図１２において、横軸は差分算出部２１０により算出された差分値を示しており、縦軸はゲイン値を示している。
【０１８０】
この例では、折れ線C11は差分値に対して定まるゲイン値を示している。折れ線C11により示されるゲイン値は、差分値が所定の値t1以下である場合には、比較的小さい一定の値とされ、差分値がt1からt2である間の区間では、差分値に対してゲイン値が線形に増加していく。また、差分値が所定の値t2以上である場合には、ゲイン値は比較的大きい一定の値とされる。
【０１８１】
してがって、この例では輝度振幅が大きい領域ほど、色味が最小となる方向の検出時における感度制御のためのゲイン値は大きくなる。
【０１８２】
なお、信号（入力画像）の振幅の度合いを示す指標に基づいて算出されるものであれば、ゲイン値はどのようなものであってもよい。
【０１８３】
乗算部２１２は、色差画像（入力画像）の画素ごとに、乗算部２０７から供給された平均値に、ゲイン生成部２１１から供給されたゲイン値を乗算し、正規化部２１３に供給する。
【０１８４】
正規化部２１３は、乗算部２１２から供給された、ゲイン値が乗算された平均値を、0から1の間の値となるように正規化し、その結果得られた値を色味値として色味最小方向選択部１０６に供給する。
【０１８５】
具体的には、例えば正規化部２１３による正規化により、次式（５）に示す色味値idxCが得られる。
【０１８６】
【数５】
2016051187.tif 000007
【０１８７】
なお、式（５）においてxは、平均値算出部２０６により算出された平均値に、ゲイン生成部２１１により生成されたゲイン値が乗算された値に対応し、[CDSigmaHV]2は乗算部２０７に供給される定数に対応する。
【０１８８】
したがって正規化部２１３により得られる色味値は、例えば図１３の曲線C21に示すように、色味が小さいほど大きくなる。なお、図１３において、横軸は乗算部２１２から出力される平均値を示しており、縦軸は正規化部２１３から出力される色味値を示している。
【０１８９】
この例では色味が小さく、乗算部２１２から出力される平均値が小さいときには傾きが大きく、かつ色味が大きく、乗算部２１２から出力される平均値が大きいときには傾きが小さい関数によって色味値が算出される。
【０１９０】
また、上述したように、乗算部２１２では信号の輝度振幅が加味されて、輝度振幅が大きいときにはより色味が大きくなり、輝度振幅が小さいときには色味が大きくならないようにゲイン値によるゲイン補正が行われる。
【０１９１】
そのため、正規化部２１３での正規化では、輝度振幅が大きいエッジ部分では色味値が小さくなる。逆に、輝度振幅が小さい、または輝度振幅が中程度であるテクスチャ領域では、色味値は大きくなる。これにより、後段の色味が最小となる方向を検出する方向検出の感度を変えることができ、より高精度に適切な方向を選択することができるようになる。
【０１９２】
以上のように色差算出部１０３乃至色味算出部１０５には、水平方向と垂直方向について、それぞれ図１０に示した色差算出部２０１乃至正規化部２１３に対応する構成が設けられる。以下では、特にことわりのない場合には、何れの方向であるかを区別せずに色差算出部２０１乃至正規化部２１３について記されているものとする。
【０１９３】
なお、図１０に示した例では、色味最小方向選択部１０６に出力される色差成分と、色味値の算出に用いる色差成分とが同じものである場合について説明したが、これらの色差成分は、異なるものであってもよい。例えば色差算出部２０１で得られた補間処理前の色差成分が用いられて色味値が算出されるようにしてもよい。
【０１９４】
また、図７に示した色差算出部１０３乃至色味算出部１０５には、右斜め方向または左斜め方向について、色差画像と色味値を得るためのブロックとして図１４に示すブロックが設けられている。なお、ここでは図１４に示すブロックが右斜め方向について色差画像と色味値を得るためのブロックであるものとして説明を続けるが、左斜め方向についても同様であるため、その説明は省略する。
【０１９５】
図１４に示す例では、右斜め方向について色差画像と色味値を得るための構成として、色差算出部２４１、フィルタ処理部２４２、色差算出部２４３、フィルタ処理部２４４、加算部２４５、加算部２４６、相関算出部２４７、相関算出部２４８、相関算出部２４９、平均値算出部２５０、乗算部２５１、最大値選択部２５２、最小値選択部２５３、差分算出部２５４、ゲイン生成部２５５、乗算部２５６、および正規化部２５７が設けられている。
【０１９６】
この例では、色差算出部２４１および色差算出部２４３は図７に示した色差算出部１０３に設けられており、フィルタ処理部２４２、フィルタ処理部２４４、加算部２４５、および加算部２４６は図７に示した色差成分補間処理部１０４に設けられている。また、相関算出部２４７乃至正規化部２５７は図７に示した色味算出部１０５に設けられている。
【０１９７】
色差算出部２４１は、供給された入力画像に基づいて右斜め方向へのR成分およびB成分と、G成分との色差成分（色差画像）を算出し、フィルタ処理部２４２に供給する。
【０１９８】
例えばR成分を有する所定の画素位置を注目画素として、その注目画素のR成分とG成分との色差成分を算出する場合、色差算出部２４１は、注目画素に対して右斜め上に隣接する画素のG成分と、注目画素に対して左斜め下に隣接する画素のG成分との平均値を求めることで、注目画素位置におけるG成分を算出する。そして、色差算出部２４１は、注目画素位置におけるR成分から、注目画素位置におけるG成分を減算して得られた値を、注目画素位置におけるR成分とG成分との色差成分とする。
【０１９９】
色差算出部２４１は、R成分における場合と同様にして、B成分を有する各画素についてB成分とG成分との色差成分を算出する。
【０２００】
さらに、色差算出部２４１は、R成分における場合と同様にして、G成分を有する画素を注目画素として、その注目画素に対して右斜め方向に隣接する画素のR成分またはB成分の平均値を求めて、注目画素のG成分との差分を求めることで、注目画素位置におけるR成分またはB成分と、G成分との色差成分を算出する。
【０２０１】
フィルタ処理部２４２は、色差算出部２４１から供給された色差成分に対して色差成分ごとに平滑化補間を行うことで、全画素位置についてR成分とG成分との色差成分、およびB成分とG成分との色差成分を算出する。
【０２０２】
例えばフィルタ処理部２４２は、図１１に示したフィルタ係数を用いて同色の色差成分の値を重み付き加算することで、空間的な平滑化補間を行う。すなわち、LPFによるフィルタ処理を施すことで平滑化補間が行われる。
【０２０３】
フィルタ処理部２４２は、R成分とG成分との色差成分を加算部２４５に供給するとともに、B成分とG成分との色差成分を加算部２４６に供給する。
【０２０４】
色差算出部２４３は、供給された入力画像に基づいて右斜め方向へのG成分と、W成分との色差成分（色差画像）を算出し、フィルタ処理部２４４に供給する。
【０２０５】
G成分を有する画素位置を注目画素として、その注目画素のG成分とW成分との色差成分を算出する場合、色差算出部２４３は、注目画素の上下左右に隣接する４つの画素のW成分の平均値を求めることで、注目画素位置におけるW成分を算出する。そして、色差算出部２４３は、注目画素位置におけるG成分から、注目画素位置におけるW成分を減算して得られた値を、注目画素位置におけるG成分とW成分との色差成分とする。
【０２０６】
また、例えばR成分を有する所定の画素位置を注目画素として、その注目画素のG成分とW成分との色差成分を算出する場合、色差算出部２４３は、注目画素に対して右斜め上に隣接する画素のG成分と、注目画素に対して左斜め下に隣接する画素のG成分との平均値を求めることで、注目画素位置におけるG成分を算出する。
【０２０７】
また、色差算出部２４３は、注目画素の上下左右に隣接する４つの画素のW成分の平均値を求めることで、注目画素位置におけるW成分を算出する。そして、色差算出部２４３は、注目画素位置におけるG成分から、注目画素位置におけるW成分を減算して得られた値を、注目画素位置におけるG成分とW成分との色差成分とする。
【０２０８】
さらに、色差算出部２４３は、B成分を有する画素についても、R成分を有する画素における場合と同様にして、G成分とW成分との色差成分を算出する。
【０２０９】
フィルタ処理部２４４は、色差算出部２４３から供給された色差成分に対して、フィルタ処理部２４２と同様の平滑化補間を行うことで、全画素についてG成分とW成分との色差成分（G色差画像）を算出する。
【０２１０】
フィルタ処理部２４４は、G成分とW成分との色差成分を加算部２４５、加算部２４６、相関計算部２４７、相関計算部２４９、および図７に示した色味最小方向選択部１０６に供給する。
【０２１１】
加算部２４５は、色差画像の各画素位置について、フィルタ処理部２４２から供給されたR成分とG成分との色差成分と、フィルタ処理部２４４から供給されたG成分とW成分との色差成分とを加算することで、R成分とW成分との色差成分（R色差画像）を算出し、相関算出部２４７、相関算出部２４８、および色味最小方向選択部１０６に供給する。
【０２１２】
加算部２４６は、色差画像の各画素位置について、フィルタ処理部２４２から供給されたB成分とG成分との色差成分と、フィルタ処理部２４４から供給されたG成分とW成分との色差成分とを加算することで、B成分とW成分との色差成分（B色差画像）を算出し、相関算出部２４８、相関算出部２４９、および色味最小方向選択部１０６に供給する。
【０２１３】
以上の処理により、相関算出部２４７乃至相関算出部２４９のそれぞれに、R色差画像とG色差画像、R色差画像とB色差画像、およびG色差画像とB色差画像のそれぞれが供給されることになる。
【０２１４】
また、相関算出部２４７乃至正規化部２５７は、図１０を参照して説明した相関算出部２０３乃至正規化部２１３と同様であるため、その説明は省略する。
【０２１５】
以上のように色差算出部１０３乃至色味算出部１０５には、右斜め方向と左斜め方向について、それぞれ図１４に示した色差算出部２４１乃至正規化部２５７に対応する構成が設けられる。以下では、特にことわりのない場合には、何れの方向であるかを区別せずに色差算出部２４１乃至正規化部２５７について記されているものとする。
【０２１６】
〈色味最小方向選択部の構成例〉
次に、図７に示した色味最小方向選択部１０６のより詳細な構成例について説明する。
【０２１７】
色味最小方向選択部１０６は、より詳細には、例えば図１５に示すように構成される。
【０２１８】
図１５に示す色味最小方向選択部１０６は、高域検出部２８１、安定化部２８２、閾値生成部２８３、最大値選択部２８４、最小値選択部２８５、差分算出部２８６、安定化部２８７、ゲイン生成部２８８、平均値算出部２８９、色差最小処理部２９０、およびブレンド処理部２９１を有している。
【０２１９】
高域検出部２８１は、供給されたW画像に対して周波数解析を行い、その結果得られた各画素位置におけるW画像の高周波成分のレベル、すなわち高周波レベルを安定化部２８２に供給する。
【０２２０】
例えば高域検出部２８１は、W画像に対してHPF（High Pass Filter）やBPFによるフィルタ処理を施すことにより、高周波レベルを算出する。このようにして得られる高周波レベルは、入力画像の各領域における物体の周波数を示しているということができる。
【０２２１】
安定化部２８２は、高域検出部２８１から供給された各画素位置の高周波レベルに対して、例えば最大値フィルタ等によるフィルタ処理を施すことで、各画素の高周波レベルを水平方向に平滑化し、閾値生成部２８３に供給する。ここで、最大値フィルタは、水平方向に連続して並ぶいくつかの画素の高周波レベルのなかの最大値を出力するフィルタである。
【０２２２】
閾値生成部２８３は、安定化部２８２から供給された各画素位置の高周波レベルに基づいて、画素位置ごとに閾値thを算出し、ゲイン生成部２８８に供給する。
【０２２３】
この閾値thは、ゲイン生成部２８８で生成されるゲイン値の生成に用いられるものであり、例えば図１６の折れ線C31に示すように高周波レベルが高いほど大きくなる。なお、図１６において横軸は高周波レベルを示しており、縦軸は閾値thを示している。
【０２２４】
この例では、高周波レベルがt21以下である場合には閾値thは0とされ、高周波レベルがt21からt22までの間は、高周波レベルに対して線形に閾値thが増加する。また、高周波レベルがt22以上である場合には、閾値thは、例えば1などの一定の値とされる。このように、高周波成分が多い画素位置ほど、閾値thは大きくなる。
【０２２５】
図１５の説明に戻り、最大値選択部２８４と最小値選択部２８５には、水平方向、垂直方向、右斜め方向、および左斜め方向の各方向について求められた色味値が、入力画像の画素位置ごとにそれらの方向に対応する正規化部２１３および正規化部２５７から供給される。
【０２２６】
最大値選択部２８４は、画素位置ごとに、正規化部２１３および正規化部２５７から供給された各方向の色味値のなかの最大値を選択し、差分算出部２８６および色差最小処理部２９０に供給する。
【０２２７】
すなわち、水平方向、垂直方向、右斜め方向、および左斜め方向の４つの方向のなかから、色味（色差）が最小となる方向が選択され、選択された方向の色味値が出力される。なお、より詳細には、差分算出部２８６には選択された方向の色味値が供給され、色差最小処理部２９０には選択された方向を示す情報が供給される。
【０２２８】
最小値選択部２８５は、画素位置ごとに、正規化部２１３および正規化部２５７から供給された各方向の色味値のなかの最小値を選択し、差分算出部２８６に供給する。
【０２２９】
差分算出部２８６は、最大値選択部２８４から供給された最大値と、最小値選択部２８５から供給された最小値との差分値を画素位置ごとに算出し、安定化部２８７に供給する。差分算出部２８６では、各方向の色味値の最大値と最小値の差が算出されるので、得られる差分値が大きいほど、各方向の色のバランスをみたときに、色バランスの偏りが大きいことを示していることになる。
【０２３０】
安定化部２８７は、差分算出部２８６から供給された差分値に対して、最大値フィルタ等によるフィルタ処理を施すことで各画素位置の差分値を平滑化し、ゲイン生成部２８８に供給する。例えば、差分値の平滑化に用いられる最大値フィルタは、水平方向に連続して並ぶいくつかの画素位置における差分値のなかの最大値を出力するフィルタとされる。
【０２３１】
ゲイン生成部２８８は、各画素位置について、安定化部２８７から供給された差分値と、閾値生成部２８３から供給された閾値thとに基づいてゲイン値を算出し、ブレンド処理部２９１に供給する。
【０２３２】
ゲイン生成部２８８により生成されるゲイン値は、例えば図１７に示すように差分値と閾値thとから定まり、最終的な色差画像に対する、色味値が最大となる方向の色差画像の寄与率、つまり混合係数として用いられる。なお、図１７において横軸は差分値を示しており、縦軸はゲイン値を示している。
【０２３３】
この例では、折れ線C41に示すように、安定化部２８７から出力された差分値が、閾値th以下であるときには混合係数として用いられるゲイン値は0とされる。また、差分値が閾値thから所定の値t31までの間である区間では、差分値に対してゲイン値が0から1まで線形に増加していく。さらに、差分値が所定の値t31以上である場合には、ゲイン値は1とされる。
【０２３４】
このようにして得られるゲイン値は、色差最小処理部２９０から出力される色差画像と、平均値算出部２８９から出力される色差画像とを混合（ブレンド）する際の混合率として用いられる。
【０２３５】
図１５の説明に戻り、平均値算出部２８９および色差最小処理部２９０には水平方向、垂直方向、右斜め方向、および左斜め方向の各方向について求められた色差画像、すなわちR色差画像、G色差画像、およびB色差画像が、それらの方向に対応するフィルタ処理部２０２や、フィルタ処理部２４４、加算部２４５、加算部２４６から供給される。
【０２３６】
平均値算出部２８９は、フィルタ処理部２０２等から供給された各色成分についての色差画像、つまりR色差画像、G色差画像、およびB色差画像について、各方向の色差画像の平均値を算出し、その結果得られた色差画像をブレンド処理部２９１に供給する。なお、以下、平均値算出部２８９により生成された色差画像を、特に平均色差画像とも称することとする。
【０２３７】
具体的には、例えば平均値算出部２８９は、各方向のR色差画像における同じ位置にある画素のR成分の平均値を算出し、算出された平均値の値を、その画素位置におけるR成分の平均色差画像の画素値とすることで、R成分の平均色差画像を生成する。同様にして平均値算出部２８９は、各方向のG色差画像の平均値をG成分の平均色差画像とするとともに、各方向のB色差画像の平均値をB成分の平均色差画像とする。
【０２３８】
色差最小処理部２９０は、フィルタ処理部２０２等から供給された各色成分についての色差画像、つまりR色差画像、G色差画像、およびB色差画像について、最大値選択部２８４から供給された情報に基づいて色差最小処理を行う。
【０２３９】
すなわち、色差最小処理部２９０は、R色差画像、G色差画像、およびB色差画像の各色成分の色差画像について、各方向の色差画像のうち、最大値選択部２８４から供給された情報により示される方向の色差画像を選択し、ブレンド処理部２９１に供給する。
【０２４０】
なお、以下、色差最小処理部２９０から出力される色差画像を選択方向色差画像とも称することとする。色味算出部１０５では各方向について色味値が算出されるが、この色味値は全色成分で共通するものであるので、選択方向色差画像として選択されるR色差画像、G色差画像、およびB色差画像は、同じ方向のものとなる。
【０２４１】
ブレンド処理部２９１は、色差画像の画素位置ごとに、ゲイン生成部２８８から供給されたゲイン値に基づいて、平均値算出部２８９から供給された平均色差画像と、色差最小処理部２９０から供給された選択方向色差画像とを混合（ブレンド）し、その結果得られた色差画像をブレンド処理部１０７に供給する。
【０２４２】
具体的には、ブレンド処理部２９１は、ゲイン生成部２８８から供給されたゲイン値をGとするとゲイン値Gを重み（混合係数）として選択方向色差画像に乗算するとともに、重み（1-G）を平均色差画像に乗算する。そして、ブレンド処理部２９１は、重みGが乗算された選択方向色差画像と、重み（1-G）が乗算された平均色差画像とを加算することで、最終的な色差画像を得る。
【０２４３】
ところで、水平方向、垂直方向、右斜め方向、および左斜め方向の各方向のうち、最も色味（色差）が小さくなる方向は、色差画像において最も色が薄い方向であるから、空間的な補間処理をする方向として適した方向である。
【０２４４】
したがって、色味算出部１０５において色味値を算出し、最大値選択部２８４において色味値の最大値を選択する処理は、アンチエイリアス方向を検出する処理であるということができる。また、色差成分補間処理部１０４のフィルタ処理部２０２や、フィルタ処理部２４２、フィルタ処理部２４４によるフィルタ処理と、色差最小処理部２９０による色差最小処理は、検出されたアンチエイリアス方向へのアンチエイリアス処理であるといえる。
【０２４５】
このように、色味が最小となる方向を検出し、色味が最小となる方向の色差画像である選択方向色差画像を、最終的な色差画像とすれば、色成分に起因するエイリアスをより効果的かつ効率的に抑制することができる。
【０２４６】
但し、色味が最小となる方向に空間的な補間処理を行って色差画像を生成する場合、テクスチャ領域などの高周波成分の多い領域では、補間処理により色が薄くなってしまう色抜けが生じてしまう。一方、低周波成分の多い領域や、方向ごとに色のバランスの偏りが大きいエッジ部分の領域では、色味が最小となる方向に空間的な補間処理を行っても、特に色抜けが目立つことはない。
【０２４７】
また、平均色差画像は、各方向のそれぞれに空間的な補間処理を行って得られた色差画像のそれぞれの平均画像であるので、選択方向色差画像の場合と比べてエイリアスの抑制効果は小さいが、色抜けを抑制することができる。
【０２４８】
そこで、ブレンド処理部２９１では、低周波成分の多い領域やエッジ部分の領域では選択方向色差画像が最終的な色差画像として選択され、テクスチャ領域などの高周波成分の多い領域では平均色差画像が最終的な色差画像として選択されるようにされる。
【０２４９】
より詳細には、例えば色味値の差分値が大きくなるエッジ部分の領域では、図１７に示したようにゲイン値は大きくなるため、選択方向色差画像の最終的な色差画像の生成への寄与率は大きくなる。つまり、より選択方向色差画像が選択されやすくなり、効果的かつ効率的にエイリアスが抑制される。
【０２５０】
特に、エッジ部分の領域では輝度振幅が大きいため、図１２および図１３を参照して説明したように、色味値算出時に大きいゲイン値による補正によって色味値がより小さくなる。そのため、差分算出部２８６により算出される差分値が大きくなり、より選択方向色差画像が選択されやすくなる。つまり、ノイズに対してロバストになる。
【０２５１】
また、低周波成分の多い領域では閾値thは小さくなるので、図１７の折れ線C41に示されるようにゲイン値が大きい値となりやすくなり、選択方向色差画像の最終的な色差画像の生成への寄与率は大きくなる。つまり、より選択方向色差画像が選択されやすくなり、効果的かつ効率的にエイリアスが抑制される。
【０２５２】
一方、テクスチャ領域などの高周波成分の多い領域では、図１６を参照して説明したように閾値thは大きくなるので、図１７の折れ線C41に示されるようにゲイン値が小さい値となりやすくなり、選択方向色差画像の最終的な色差画像の生成への寄与率は小さくなる。つまり、より平均色差画像が選択されやすくなり、色抜けが目立たない程度にエイリアスの抑制が行われ、画質の劣化が抑えられる。
【０２５３】
以上のように、画像処理装置９１では、W成分（輝度成分）と色差成分（色成分）とでそれぞれアンチエイリアス方向を検出して補間処理を行うことで、効率的かつ効果的に各成分に起因するエイリアスを抑制することができる。これにより、より高品質な画像を得ることができる。
【０２５４】
しかも、入力画像の輝度振幅を加味して色味値を算出したり、色差成分に対するアンチエイリアス処理時、つまり補間処理時に入力画像の周波数に応じてアンチエイリアスをかける度合いを制御したりすることで、さらに効果的かつ効率的にエイリアスを抑制することができる。
【０２５５】
〈アンチエイリアス処理の説明〉
次に、図１８のフローチャートを参照して、画像処理装置９１により行われるアンチエイリアス処理について説明する。
【０２５６】
ステップＳ８１において、方向検出部１０１のフィルタ処理部１３１は、供給されたW画像に対してLPFによるフィルタ処理を施すことで、各方向に補間されたW画像を生成し、相関算出部１３２に供給する。
【０２５７】
ステップＳ８２において、方向検出部１０１は、各方向について得られたW画像に基づいて、物体のエッジの方向らしさの度合いを算出する。
【０２５８】
すなわち、相関算出部１３２は、フィルタ処理部１３１から供給されたW画像に基づいて、式（１）や式（１）と同様の計算を行って相関値を算出し、平均値算出部１３３に供給する。また、平均値算出部１３３は、相関算出部１３２から供給された相関値の平均値を算出し、正規化部１３４に供給する。
【０２５９】
さらに、正規化部１３４は、平均値算出部１３３から供給された平均値に基づいて、式（２）や式（２）と同様の計算を行って、各方向についての物体のエッジの方向らしさの度合いを算出し、補間処理部１０２に供給する。
【０２６０】
これにより、右斜め方向、および左斜め方向についての物体のエッジの方向らしさの度合いが補間処理部１０２の差分絶対値算出部１６１に供給される。また、水平方向および垂直方向についての物体のエッジの方向らしさの度合いが、補間処理部１０２の差分算出部１６２および差分算出部１６５に供給される。
【０２６１】
ステップＳ８３において、補間処理部１０２のクリップ処理部１６４およびクリップ処理部１６７は、各方向についての物体のエッジの方向らしさの度合いに基づいて重みを算出し、ブレンド処理部１７１に供給する。
【０２６２】
すなわち、差分絶対値算出部１６１は、右斜め方向と左斜め方向とについての物体のエッジの方向らしさの度合いの差分絶対値を算出し、差分算出部１６２および差分算出部１６５に供給する。
【０２６３】
差分算出部１６２は、正規化部１３４から供給された水平方向についての物体のエッジの方向らしさの度合いと、正規化部１３４から供給された垂直方向についての物体のエッジの方向らしさの度合い、および差分絶対値算出部１６１から供給された差分絶対値との差分を算出し、乗算部１６３に供給する。乗算部１６３は、差分算出部１６２から供給された差分に所定の係数を乗算し、クリップ処理部１６４に供給し、クリップ処理部１６４は、乗算部１６３から供給された差分に対してクリップ処理を行い、その結果得られた重みをブレンド処理部１７１に供給する。
【０２６４】
差分算出部１６５は、正規化部１３４から供給された垂直方向についての物体のエッジの方向らしさの度合いと、正規化部１３４から供給された水平方向についての物体のエッジの方向らしさの度合い、および差分絶対値算出部１６１から供給された差分絶対値との差分を算出し、乗算部１６６に供給する。乗算部１６６は、差分算出部１６５から供給された差分に所定の係数を乗算し、クリップ処理部１６７に供給し、クリップ処理部１６７は、乗算部１６６から供給された差分に対してクリップ処理を行い、その結果得られた重みをブレンド処理部１７１に供給する。
【０２６５】
ステップＳ８４において、補間処理部１０２は、各方向についてW画像に対する補間処理を行う。
【０２６６】
すなわち、フィルタ処理部１６８乃至フィルタ処理部１７０は、それぞれ供給されたW画像に対して水平方向、垂直方向、および斜め方向への補間処理を行い、その結果得られたW画像をブレンド処理部１７１に供給する。
【０２６７】
ステップＳ８５において、ブレンド処理部１７１は、クリップ処理部１６４およびクリップ処理部１６７から供給された重みに基づいてブレンド処理を行い、フィルタ処理部１６８乃至フィルタ処理部１７０から供給されたW画像を混合する。
【０２６８】
すなわち、ブレンド処理部１７１は上述した式（３）の計算を行うことで、W成分（輝度成分）に起因するエイリアスをキャンセルし、得られたW画像をブレンド処理部１０７に供給する。
【０２６９】
以上の処理により、W画像についてアンチエイリアス方向が検出され、検出された方向へとアンチエイリアス処理が行われて、W成分に起因するエイリアスがキャンセルされたW画像が得られる。
【０２７０】
ステップＳ８６において、色差算出部１０３は供給された入力画像に基づいて、各方向について色成分ごとに色差成分を算出する。
【０２７１】
すなわち、色差算出部２０１は、供給された入力画像に基づいてR成分、G成分、およびB成分と、W成分との差分を計算することで色差成分を算出し、フィルタ処理部２０２に供給する。これにより、水平方向と垂直方向の各方向について、色差成分ΔR、色差成分ΔG、および色差成分ΔBが得られる。
【０２７２】
また、色差算出部２４１は、供給された入力画像に基づいてR成分およびB成分と、G成分との色差成分を算出し、フィルタ処理部２４２に供給する。さらに、色差算出部２４３は、供給された入力画像に基づいてG成分と、W成分との色差成分を算出し、フィルタ処理部２４４に供給する。これにより、右斜め方向と左斜め方向の各方向について、R成分およびB成分とG成分との色差成分、並びにG成分とW成分との色差成分が得られる。
【０２７３】
ステップＳ８７において、色差成分補間処理部１０４は各方向について、色差成分に対する補間処理を行う。
【０２７４】
すなわち、フィルタ処理部２０２は、色差算出部２０１から供給された色差成分に対して平滑化補間を行うことで全画素位置におけるR成分とW成分との色差成分、G成分とW成分との色差成分、およびB成分とW成分との色差成分を生成し、平均値算出部２８９および色差最小処理部２９０に供給する。
【０２７５】
また、フィルタ処理部２０２は、R成分とW成分との色差成分を相関算出部２０３および相関算出部２０４に供給し、G成分とW成分との色差成分を相関算出部２０３および相関算出部２０５に供給し、B成分とW成分との色差成分を相関算出部２０４および相関算出部２０５に供給する。
【０２７６】
フィルタ処理部２４２は、色差算出部２４１から供給された色差成分に対して平滑化補間を行うことで、全画素についてR成分とG成分との色差成分、およびB成分とG成分との色差成分を算出する。フィルタ処理部２４２は、R成分とG成分との色差成分を加算部２４５に供給するとともに、B成分とG成分との色差成分を加算部２４６に供給する。
【０２７７】
フィルタ処理部２４４は、色差算出部２４３から供給された色差成分に対して平滑化補間を行うことで、全画素についてG成分とW成分との色差成分を算出し、加算部２４５、加算部２４６、相関計算部２４７、相関計算部２４９、平均値算出部２８９、および色差最小処理部２９０に供給する。
【０２７８】
ステップＳ８８において、色味算出部１０５はW画像に基づいて方向ごとにゲイン値を算出する。
【０２７９】
すなわち、最大値選択部２０８は、W画像の画素ごとに、供給されたW画像の所定領域内にある画素のW成分のなかから値が最大のものを選択し、差分算出部２１０に供給する。最小値選択部２０９は、W画像の画素ごとに、供給されたW画像の所定領域内にある画素のW成分のなかから値が最小のものを選択し、差分算出部２１０に供給する。
【０２８０】
差分算出部２１０は、W画像の画素ごとに、最大値選択部２０８から供給された最大値と、最小値選択部２０９から供給された最小値との差分値を求め、ゲイン生成部２１１に供給する。ゲイン生成部２１１は、W画像の画素ごとに、差分算出部２１０から供給された差分値に基づいて、色味値を算出する際のゲイン値を生成し、乗算部２１２に供給する。また、最大値選択部２５２乃至ゲイン生成部２５５も最大値選択部２０８乃至ゲイン生成部２１１と同様にしてゲイン値を生成し、乗算部２５６に供給する。
【０２８１】
これにより、例えば図１２に示したように輝度振幅に応じたゲイン値が得られる。
【０２８２】
なお、ここでは各方向について最大値選択部２０８乃至ゲイン生成部２１１や、最大値選択部２５２乃至ゲイン生成部２５５が設けられる例について説明したが、これらのブロックで得られるゲイン値は各方向で同じものとなるため、ゲイン値を算出する共通のブロックが設けられるようにしてもよい。例えば、最大値選択部２０８乃至ゲイン生成部２１１により各方向で共通するゲイン値が算出されるようにしてもよい。
【０２８３】
ステップＳ８９において、色味算出部１０５は各方向について色味値を算出する。
【０２８４】
すなわち、相関算出部２０３乃至相関算出部２０５は、フィルタ処理部２０２から供給された色差成分に基づいて相関値を算出し、平均値算出部２０６に供給する。平均値算出部２０６は、相関算出部２０３乃至相関算出部２０５から供給された相関値の平均値を算出し、乗算部２０７に供給する。乗算部２０７は、平均値算出部２０６から供給された平均値に、図示せぬレジスタ等から供給された定数を乗算し、乗算部２１２に供給する。
【０２８５】
乗算部２１２は、乗算部２０７から供給された平均値に、ゲイン生成部２１１から供給されたゲイン値を乗算し、正規化部２１３に供給する。正規化部２１３は、乗算部２１２から供給された、ゲイン値が乗算された平均値を正規化し、その結果得られた色味値を最大値選択部２８４および最小値選択部２８５に供給する。これにより、水平方向および垂直方向について、色味値が得られる。
【０２８６】
また、相関算出部２４７乃至正規化部２５７も相関算出部２０３乃至正規化部２１３と同様の処理を行って、右斜め方向および左斜め方向の色味値を算出し、最大値選択部２８４および最小値選択部２８５に供給する。
【０２８７】
色味値を算出するための関数は、例えば式（５）に示した例のように相関値の平均値が大きい部分では傾きが小さく、相関値の平均値が小さい部分では傾きが大きい関数とされる。また、色味値の算出時には輝度振幅に応じてゲイン補正される。
【０２８８】
したがって、例えば輝度振幅が大きいエッジ部分の領域では、色味値はより小さくなるのでエッジ部分の領域が検出されやすくなり、つまり差分算出部２８６での差分値がより大きくなり、ノイズに対してロバストになる。これに対して、輝度振幅が小さい、または輝度振幅が中程度であるテクスチャ領域では、色味値はより大きくなるので、微小な成分を抽出できるようになる。
【０２８９】
ステップＳ９０において、高域検出部２８１は、供給されたW画像に対する高域検出、すなわち周波数解析を行い、その結果得られた高周波レベルを安定化部２８２に供給する。
【０２９０】
ステップＳ９１において、閾値生成部２８３は閾値thを算出する。
【０２９１】
すなわち、安定化部２８２は、高域検出部２８１から供給された高周波レベルを水平方向に平滑化して閾値生成部２８３に供給し、閾値生成部２８３は安定化部２８２から供給された高周波レベルに基づいて閾値thを算出し、ゲイン生成部２８８に供給する。
【０２９２】
ステップＳ９２において、ゲイン生成部２８８は色味値に基づいてゲイン値を算出する。
【０２９３】
すなわち、最大値選択部２８４は、画素位置ごとに、正規化部２１３および正規化部２５７から供給された各方向の色味値のなかの最大値を選択し、差分算出部２８６および色差最小処理部２９０に供給する。
【０２９４】
最小値選択部２８５は、画素位置ごとに、正規化部２１３および正規化部２５７から供給された各方向の色味値のなかの最小値を選択し、差分算出部２８６に供給する。
【０２９５】
差分算出部２８６は、最大値選択部２８４から供給された最大値と、最小値選択部２８５から供給された最小値との差分値を画素位置ごとに算出し、安定化部２８７に供給する。安定化部２８７は、差分算出部２８６から供給された差分値を平滑化し、ゲイン生成部２８８に供給する。
【０２９６】
ゲイン生成部２８８は、安定化部２８７から供給された差分値と、閾値生成部２８３から供給された閾値thとに基づいてゲイン値を算出し、ブレンド処理部２９１に供給する。
【０２９７】
ステップＳ９３において、平均値算出部２８９は、フィルタ処理部２０２等から供給された各色成分についての色差画像に基づいて平均値算出処理を行う。
【０２９８】
すなわち、平均値算出部２８９は色成分ごとに各方向の色差画像の平均値を算出し、その結果得られた平均色差画像をブレンド処理部２９１に供給する。
【０２９９】
ステップＳ９４において、色差最小処理部２９０は、フィルタ処理部２０２等から供給された各色成分の色差画像について、最大値選択部２８４から供給された情報に基づいて色差最小処理を行う。
【０３００】
すなわち、色差最小処理部２９０は、R色差画像、G色差画像、およびB色差画像の各色成分の色差画像について、最大値選択部２８４から供給された情報により示される方向の色差画像を選択方向色差画像として選択し、ブレンド処理部２９１に供給する。
【０３０１】
ステップＳ９５において、ブレンド処理部２９１はゲイン生成部２８８から供給されたゲイン値に基づいて、平均値算出部２８９から供給された平均色差画像と、色差最小処理部２９０から供給された選択方向色差画像とを混合し、ブレンド処理部１０７に供給する。
【０３０２】
以上の処理により、色差画像についてアンチエイリアス方向が検出され、検出された方向へとアンチエイリアス処理が行われて、R、G、およびBの各色成分に起因するエイリアスがキャンセルされた色差画像が得られたことになる。
【０３０３】
このようにして色差画像を生成することにより、エッジ部分の領域や低周波成分の多い領域では効果的かつ効率的にエイリアスが抑制され、テクスチャ領域などの高周波成分の多い領域では色抜けが目立たない程度にエイリアスが抑制された高品質な色差画像が得られる。
【０３０４】
ステップＳ９６において、ブレンド処理部１０７は、ブレンド処理部１７１から供給されたW画像と、ブレンド処理部２９１から供給された色差画像とを混合して、得られた色成分画像を出力画像として出力し、アンチエイリアス処理は終了する。
【０３０５】
以上のようにして画像処理装置９１は、W成分（輝度成分）と色差成分（色成分）とでそれぞれアンチエイリアス方向を検出して補間処理を行い、その結果得られたW画像と色差画像とを混合して出力画像を生成する。
【０３０６】
このようにW成分や色差成分ごとにアンチエイリアス処理を行うことで、より効率的かつ効果的に各成分に起因するエイリアスを抑制し、より高品質な画像を得ることができる。
【０３０７】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３０８】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３０９】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Me mory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０３１０】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０３１１】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０３１２】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０３１３】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３１４】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３１５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３１６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３１７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３１８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３１９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３２０】
さらに、本技術は、以下の構成とすることも可能である。
【０３２１】
［１］
入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出部と、
前記高周波成分に対して、前記高周波成分方向検出部により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理部と、
前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出部と、
前記低周波成分に対して、前記低周波成分方向検出部により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理部と、
アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理部と
を備える画像処理装置。
［２］
前記高周波成分アンチエイリアス処理部および前記低周波成分アンチエイリアス処理部は、アンチエイリアス処理として補間処理を行う
［１］に記載の画像処理装置。
［３］
前記高周波成分は輝度成分であり、前記低周波成分は色差成分である
［１］または［２］に記載の画像処理装置。
［４］
前記低周波成分方向検出部は、前記色差成分に基づいて複数の方向ごとに色味を算出し、
前記低周波成分アンチエイリアス処理部は、前記複数の方向ごとに、それらの方向に前記色差成分に対するアンチエイリアス処理を施して方向色差成分を生成し、
前記複数の方向の前記色味に基づいて、前記複数の方向の前記方向色差成分を混合する色差ブレンド処理部をさらに備え、
前記ブレンド処理部は、アンチエイリアス処理が施された前記高周波数成分としての前記輝度成分と、前記色差ブレンド処理部により混合された前記方向色差成分とを混合して前記出力画像を生成する
［３］に記載の画像処理装置。
［５］
前記低周波成分方向検出部は、前記複数の方向ごとに、それらの方向に補間処理された前記色差成分に基づいて前記色味を算出する
［４］に記載の画像処理装置。
［６］
前記低周波成分方向検出部は、前記輝度成分に基づいて輝度振幅を算出し、前記輝度振幅と前記色差成分とに基づいて前記色味を算出する
［４］または［５］に記載の画像処理装置。
［７］
前記色差ブレンド処理部は、前記輝度成分に基づいて高周波レベルを算出し、前記高周波レベルおよび前記色味に基づいて、前記複数の方向の前記方向色差成分を混合する
［４］乃至［６］の何れか一項に記載の画像処理装置。
［８］
前記高周波成分は輝度成分であり、前記低周波成分は色成分である
［１］または［２］に記載の画像処理装置。
［９］
入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出ステップと、
前記高周波成分に対して、前記高周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理ステップと、
前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出ステップと、
前記低周波成分に対して、前記低周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理ステップと、
アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理ステップと
を含む画像処理方法。
［１０］
入力画像の高周波成分に基づいて物体の方向を検出する高周波成分方向検出ステップと、
前記高周波成分に対して、前記高周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す高周波成分アンチエイリアス処理ステップと、
前記入力画像の低周波成分に基づいて物体の方向を検出する低周波成分方向検出ステップと、
前記低周波成分に対して、前記低周波成分方向検出ステップの処理により検出された方向にアンチエイリアス処理を施す低周波成分アンチエイリアス処理ステップと、
アンチエイリアス処理が施された前記高周波数成分と、アンチエイリアス処理が施された前記低周波成分とを混合して出力画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３２２】
１１  画像処理装置，  ２１  分離部，  ２２  高周波成分方向検出部，  ２３  高周波成分補間処理部，  ２４  低周波成分方向検出部，  ２５  低周波成分補間処理部，  ２６  ブレンド処理部，  ５１  画像処理装置，  ６２  輝度成分方向検出部，  ６３  輝度成分補間処理部，  ６４  色成分方向検出部，  ６５  色成分補間処理部，  ６６  ブレンド処理部，  ９１  画像処理装置，  １０１  方向検出部，  １０２  補間処理部，  １０３  色差算出部，  １０４  色差成分補間処理部，  １０５  色味算出部，  １０６  色味最小方向選択部，  １０７  ブレンド処理部
【図１】
2016051187.tif 000008
【図２】
2016051187.tif 000009
【図３】
2016051187.tif 000010
【図４】
2016051187.tif 000011
【図５】
2016051187.tif 000012
【図６】
2016051187.tif 000013
【図７】
2016051187.tif 000014
【図８】
2016051187.tif 000015
【図９】
2016051187.tif 000016
【図１０】
2016051187.tif 000017
【図１１】
2016051187.tif 000018
【図１２】
2016051187.tif 000019
【図１３】
2016051187.tif 000020
【図１４】
2016051187.tif 000021
【図１５】
2016051187.tif 000022
【図１６】
2016051187.tif 000023
【図１７】
2016051187.tif 000024
【図１８】
2016051187.tif 000025
【図１９】
2016051187.tif 000026