(57)【要約】【課題】計算量を大幅に増大させることなく、様々な方向で境界線の有無を判定できるようにする。【解決手段】水平方向である第１の境界線推定方向と、垂直方向である第２の境界線推定方向と、第１の境界線推定方向と第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における第１の画素変化量と、第１乃至第３の各境界線推定方向と垂直な各方向における第２の画素変化量とを算出する。続いて、第１乃至第３の境界線推定方向で算出された各第１の画素変化量と、第１乃至第３の境界線推定方向と垂直な各方向で算出された各第２の画素変化量の情報とを用いて、境界線が存在する境界線方向を判定する。続いて、判定された境界線推定方向に基づいて算出した補間値で、第２の色成分を有する着目画素に第１の色成分を補間する。【選択図】図５
2013232829.tif 000002
【特許請求の範囲】
【請求項１】
第１の色成分を有する第１のカラーフィルタが市松状に配置され、前記第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、前記市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサより出力された前記画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、前記画素の配置方向における水平方向である第１の境界線推定方向と、前記画素の配置方向における垂直方向である第２の境界線推定方向と、前記第１の境界線推定方向と前記第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、前記第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出する画素変化量算出部と、
前記第１乃至第３の境界線推定方向で算出された各第１の画素変化量と、前記第１乃至第３の境界線推定方向と垂直な各方向で算出された各前記第２の画素変化量の情報とを用いて、前記境界線が存在する境界線方向を判定する境界線方向判定部と、
前記境界線方向判定部での判定結果に基づいて、前記各境界線方向に応じた補間値を算出する補間値算出部と、
前記補間値算出部で算出された前記補間値を用いて、前記第２の色成分を有する着目画素に前記第１の色成分を補間する補間処理部とを備えた
画像処理装置。
【請求項２】
前記境界線方向判定部は、前記第１乃至第３の境界線推定方向のうち、前記第１の画素変化量の値が最も小さい方向を第１の方向とし、前記第１乃至第３の境界線推定方向のうち、前記第２の画素変化量の値が最も大きい方向を第２の方向とし、前記第１の方向と前記第２の方向との関係性に基づいて、前記境界線方向を判定する
請求項１に記載の画像処理装置。
【請求項３】
前記境界線方向判定部は、前記第１の方向と前記第２の方向とが異なる方向であった場合、第２の方向と直交する方向を第３の方向とし、前記第１の方向と前記第３の方向のうち、一方が前記第１の境界線推定方向または前記第２の境界線推定方向であり、他方が前記第３の境界線推定方向であり、かつ前記第１の方向と前記第３の方向とが隣り合っている場合には、前記境界線方向が、前記隣り合う第１の方向と前記第３の方向の間の、第４の境界線推定方向であると判定する
請求項２に記載の画像処理装置。
【請求項４】
前記境界線方向判定部は、前記第１の方向と前記第２の方向とが直交する関係である場合に、前記境界線の方向が、前記第１の境界線推定方向と前記第２の境界線推定方向と前記第３の境界線推定方向のいずれかに該当すると判定する
請求項３に記載の画像処理装置。
【請求項５】
前記補間値算出部は、前記境界線方向判定部によって、前記境界線方向が第３の境界線推定方向または前記第４の境界線推定方向であると判定された場合は、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と、前記着目画素の画素値とを比較し、前記着目画素の画素値が最大値または最小値でない場合には、前記境界線が前記着目画素の中心からずれた位置を通っていると判断し、前記境界線の位置と前記着目画素の中心とのずれ量に応じた重み係数を用いた重み付け平均によって前記補間値を算出する
請求項３に記載の画像処理装置。
【請求項６】
前記補間値算出部は、前記境界線方向判定部によって、前記境界線の方向が前記第１乃至第４の境界線推定方向のいずれにも該当しない場合と判断された場合または、前記境界線方向判定部によって、前記境界線方向が第１の境界線推定方向または前記第２の境界線推定方向であると判定された場合または、前記境界線方向判定部によって、前記境界線方向が第３の境界線推定方向であると判定された場合であって、前記着目画素の画素値が、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と比較して最大値または最小値である場合には、前記着目画素に最も近接する周囲の各画素の画素値を平均することにより、前記補間値を算出する
請求項３に記載の画像処理装置。
【請求項７】
前記補間値算出部は、前記境界線方向判定部によって、前記境界線の方向が前記第１乃至第４の境界線推定方向のいずれにも該当しない場合と判断された場合または、前記境界線方向判定部によって、前記境界線方向が第１の境界線推定方向または前記第２の境界線推定方向であると判定された場合であって、前記着目画素の画素値が、前記境界線方向で前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と比較して最大値または最大値である場合または、前記境界線方向判定部によって、前記境界線方向が第３の境界線推定方向であると判定された場合であって、前記着目画素の画素値が、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と比較して最大値または最小値である場合には、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値差に応じた補間値を算出する請求項３に記載の画像処理装置。
【請求項８】
前記第３の境界線推定方向は、前記第１の境界線推定方向を０°とした場合の４５°方向と１３５°方向であり、前記第４の境界線推定方向は、３０°方向、６０°方向、１２０°方向、１５０°方向であり、
前記補間値算出部は、前記３０°方向と前記１５０°方向とにおいて、同一の補間値算出方法を用い、前記６０°方向と前記１２０°方向とにおいて、同一の補間値算出方法を用いる
請求項３に記載の画像処理装置。
【請求項９】
第１の色成分を有する第１のカラーフィルタが市松状に配置され、前記第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、前記市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサより出力された前記画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、前記画素の配置方向における水平方向である第１の境界線推定方向と、前記画素の配置方向における垂直方向である第２の境界線推定方向と、前記第１の境界線推定方向と前記第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、前記第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出することと、
前記算出された各第１の画素変化量と、前記第１乃至第３の境界線推定方向と垂直な各方向で算出された各前記第２の画素変化量の情報とを用いて、前記境界線が存在する境界線方向を判定することと、
前記判定結果に基づいて、前記各境界線方向に応じた補間値を算出することと、
前記算出された前記補間値を用いて、前記第２の色成分を有する着目画素に前記第１の色成分を補間することとを含む
画像処理方法。
【請求項１０】
第１の色成分を有する第１のカラーフィルタが市松状に配置され、前記第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、前記市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサより出力された前記画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、前記画素の配置方向における水平方向である第１の境界線推定方向と、前記画素の配置方向における垂直方向である第２の境界線推定方向と、前記第１の境界線推定方向と前記第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、前記第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出することと、
前記算出された各第１の画素変化量と、前記第１乃至第３の境界線推定方向と垂直な各方向で算出された各前記第２の画素変化量の情報とを用いて、前記境界線が存在する境界線方向を判定することと、
前記判定の結果に基づいて、前記各境界線方向に応じた補間値を算出することと、
前記算出された前記補間値を用いて、前記第２の色成分を有する着目画素に前記第１の色成分を補間することとをコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関し、特に、カラーフィルタを通して得られた画像を構成する各画素に、足りない色成分を精度良く補間する技術に関する。
【背景技術】
【０００２】
単板式の撮像装置では、レンズを通して得られる被写体光を例えばＲ（赤），Ｇ（緑），Ｂ（青）の３原色に分解するために、カラーフィルタが使用される。カラーフィルタとしては、ベイヤ配列のものがよく用いられている。ベイヤ配列とは、図４３にその例を示してあるように、輝度信号の寄与する割合の高いＧのフィルタを市松状に配列し、残りの部分にＲとＢのフィルタを格子に配列したものである。イメージセンサの各画素においてはＲ，Ｇ，Ｂのうち１色のデータしか得られないため、得られない他の色については、周辺の画素の画素値を用いた演算を行うことによって補間する必要がある。このような補間処理は、「デモザイク」または「デモザイキング」と呼ばれている。
【０００３】
図４３に例示したベイヤ配列においては、ＧのフィルタがＲ，Ｂのフィルタの２倍の比率で配置されており、かつ、Ｇのフィルタが市松状に配置されているのに対して、Ｒ，Ｂの画素は格子状に配置されている。すなわち、Ｇに対応する画素とＲ，Ｂに対応する画素とで画素の再現範囲が異なっている。そしてこの再現範囲の差が、特に画像の輪郭部分等において偽色が発生する原因となっている。再現範囲を揃えるためには、ＲとＢの画素が欠落している位置にＲとＢの画素値を補間値として挿入することで、Ｇの画素と同等な配列をＲとＢの画素においても実現する必要がある。つまり、ＲとＢの画素にＧの画素を適切に補間できるか否かが、画像の画質を大きく左右する。ＲとＢの画素にＧの画素を精度良く挿入できるようにする手法としては、例えば、画像のエッジ（境界線）の方向性を考慮して補間を行う手法が知られている。
【０００４】
例えば特許文献１には、着目画素の周囲の画素の画素値を用いて、境界線が存在する方向（以下、「境界線方向」と称する）の推定を行い、推定した方向に応じた算出方法で補間値を算出する手法が記載されている。境界線方向の推定方法としては、画素の配置方向における水平方向を０°とした場合の、０°，９０°，４５°，１３５°の各方向に対して、その方向が境界線方向であるかの判定を行う手法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０３７１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
境界線方向の有無を判定する方向が多くなるほど、補間の精度は向上する。しかし、境界線方向の有無を判定する方向の数を多くするには、境界線の有無を判定するための例えば画素値の変化量等の計算を、方向の数だけ行う必要がでてくる。これにともなって、計算量も増えてしまう。
【０００７】
本開示はかかる点に鑑みてなされたものであり、計算量を大幅に増大させることなく、様々な方向で境界線の有無を判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本開示の画像処理装置は、画素変化量算出部と、境界線方向判定部と、補間値算出部と、補間処理部とを備える構成とし、各部の構成及び機能を次のようにする。画素変化量算出部は、第１の色成分を有する第１のカラーフィルタが市松状に配置され、第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサで出力された画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、画素の配置方向における水平方向である第１の境界線推定方向と、画素の配置方向における垂直方向である第２の境界線推定方向と、第１の境界線推定方向と第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出する。境界線方向判定部は、第１乃至第３の境界線推定方向で算出された各第１の画素変化量と、第１乃至第３の境界線推定方向と垂直な各方向で算出された各第２の画素変化量の情報とを用いて、境界線が存在する境界線方向を判定する。補間値算出部は、境界線方向判定部での判定結果に基づいて、各境界線方向に応じた補間値を算出する。補間処理部は、補間値算出部で算出された補間値を用いて、第２の色成分を有する着目画素に第１の色成分を補間する。
【０００９】
また、上記課題を解決するために、本開示の画像処理方法は、次の手順で行う。まず、第１の色成分を有する第１のカラーフィルタが市松状に配置され、第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサから出力された画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、画素の配置方向における水平方向である第１の境界線推定方向と、画素の配置方向における垂直方向である第２の境界線推定方向と、第１の境界線推定方向と第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出する。続いて、算出された各第１の画素変化量と、第１乃至第３の境界線推定方向と垂直な各方向で算出された各第２の画素変化量の情報とを用いて、境界線が存在する境界線方向を判定する。続いて、判定結果に基づいて、各境界線方向に応じた補間値を算出する。続いて、算出された補間値を用いて、第２の色成分を有する着目画素に第１の色成分を補間する。
【００１０】
また、上記課題を解決するために、本開示のプログラムは、次の手順をコンピュータに実行させる。まず、第１の色成分を有する第１のカラーフィルタが市松状に配置され、第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサから出力された画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、画素の配置方向における水平方向である第１の境界線推定方向と、画素の配置方向における垂直方向である第２の境界線推定方向と、第１の境界線推定方向と第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出する。続いて、算出された各第１の画素変化量と、第１乃至第３の境界線推定方向と垂直な各方向で算出された各第２の画素変化量の情報とを用いて、境界線が存在する境界線方向を判定する。続いて、判定結果に基づいて、各境界線方向に応じた補間値を算出する。続いて、算出された補間値を用いて、第２の色成分を有する着目画素に第１の色成分を補間する。
【００１１】
以上のように構成および処理を行うことで、第１乃至第３の境界線推定方向で算出した画素変化量に基づいて定まる第１の画素変化量と第２の画素変化量との情報に基づいて、境界線方向が判定される。第１の画素変化量と第２の画素変化量との情報に基づいて境界線方向を判定するため、境界線方向が画素変化量の算出を行った第１乃至第３の境界線推定方向でない場合にも、その方向が境界線方向であるか否かの判定ができるようになる。
【発明の効果】
【００１２】
本開示によれば、画素変化量の計算量を抑えつつ、様々な境界線方向を判定できるようになる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態による撮像装置の内部構成例を示すブロック図である。
【図２】本開示の一実施形態による色補間処理部の構成例を示すブロック図である。
【図３】本開示の一実施形態による境界線方向とこの境界線方向と垂直な方向との関係を示す説明図である。
【図４】本開示の一実施形態による各境界線推定方向の例を示す説明図である。
【図５】本開示の一実施形態による画素変化量算出部の処理の例を示すフローチャートである。
【図６】本開示の一実施形態による０°の境界線推定方向における画素変化量算出領域の例を示す説明図である。
【図７】本開示の一実施形態による０°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図８】本開示の一実施形態による０°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図９】本開示の一実施形態による９０°の境界線推定方向における画素変化量算出領域の例を示す説明図である。
【図１０】本開示の一実施形態による９０°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１１】本開示の一実施形態による９０°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１２】本開示の一実施形態による４５°の境界線推定方向における画素変化量算出領域の例を示す説明図である。
【図１３】本開示の一実施形態による４５°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１４】本開示の一実施形態による４５°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１５】本開示の一実施形態による４５°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１６】本開示の一実施形態による１３５°の境界線推定方向における画素変化量算出領域の例を示す説明図である。
【図１７】本開示の一実施形態による１３５°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１８】本開示の一実施形態による１３５°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図１９】本開示の一実施形態による１３５°の境界線推定方向における、境界線推定方向と垂直な方向での画素変化量算出領域の例を示す説明図である。
【図２０】本開示の一実施形態による境界線方向判定部による処理の例を示すフローチャートである。
【図２１】本開示の一実施形態による、境界線が０°の境界線推定方向にある場合の第１の方向と第２の方向と第３の方向との関係の例を示す説明図であり、Ａは各境界線推定方向で算出された画素変化量を示し、Ｂは各境界線推定方向と垂直な方向で算出された画素変化量を示し、Ｃは第１の方向と第２の方向と第３の方向との位置関係を示す。
【図２２】本開示の一実施形態による境界線方向判定部の処理の例を示すフローチャートである。
【図２３】本開示の一実施形態による境界線方向判定部の処理の例を示すフローチャートである。
【図２４】本開示の一実施形態による、境界線が４５°の方向にある場合の、補間値の算出に用いられる各画素と境界線との位置関係を示す説明図である。
【図２５】本開示の一実施形態による０°の境界線推定方向の補間値算出に用いる各画素の位置を示す説明図である。
【図２６】本開示の一実施形態による９０°の境界線推定方向の補間値算出に用いる各画素の位置を示す説明図である。
【図２７】本開示の一実施形態による４５°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係を示す説明図である。
【図２８】本開示の一実施形態による４５°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係および、重心補正方向を示す説明図である。
【図２９】本開示の一実施形態による、境界線が１３５°の方向にある場合の、補間値の算出に用いられる各画素と境界線との位置関係を示す説明図である。
【図３０】本開示の一実施形態による１３５°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係および、重心補正方向を示す説明図である。
【図３１】本開示の一実施形態による３０°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係および、重心補正方向を示す説明図である。
【図３２】本開示の一実施形態による１５０°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係および、重心補正方向を示す説明図である。
【図３３】本開示の一実施形態による６０°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係および、重心補正方向を示す説明図である。
【図３４】本開示の一実施形態による１２０°の境界線推定方向の補間値算出に用いる各画素の位置と、各画素と境界線との位置関係および、重心補正方向を示す説明図である。
【図３５】本開示の一実施形態による補間値算出部の処理の例を示すフローチャートである。
【図３６】本開示の一実施形態による補間処理部の処理の例を示すフローチャートである。
【図３７】本開示の一実施形態によるＲがサンプリングされた位置にＢを補間する場合の補間値の算出に用いる各画素を示す説明図である。
【図３８】本開示の一実施形態によるＢがサンプリングされた位置にＲを補間する場合の補間値の算出に用いる各画素を示す説明図である。
【図３９】本開示の一実施形態によるＧがサンプリングされた位置にＲを補間する場合の補間値の算出に用いる各画素を示す説明図である。
【図４０】本開示の一実施形態によるＧがサンプリングされた位置にＢを補間する場合の補間値の算出に用いる各画素を示す説明図である。
【図４１】本開示の一実施形態の変形例による、０°の境界線推定方向における画素変化量算出領域の例を示す説明図である。
【図４２】本開示の一実施形態による０°の境界線推定方向と垂直な方向における画素変化量算出領域の例を示す説明図である。
【図４３】従来のベイヤ配列の例を示す説明図である。
【発明を実施するための形態】
【００１４】
本開示の一実施形態に係る画像処理装置の一例を、図面を参照しながら下記の順で説明する。本実施の形態では、本開示の画像処理装置を撮像装置に適用した例をあげる。
１．撮像装置の構成例
２．色補間処理部の構成例
３．色補間処理の例
４．各種変形例
【００１５】
＜１．撮像装置の構成例＞
図１は、本開示の画像処理装置が適用される撮像装置１の内部構成例を示すものである。撮像装置１は、レンズ１０と、カラーフィルタ２０と、イメージセンサ３０と、アナログ・デジタル変換部４０（以下、Ａ／Ｄ変換部４０と称する）と、色補間処理部５０と、信号処理部６０を有する。
【００１６】
レンズ１０は、被写体の像光を取り込んでイメージセンサ３０の図示せぬ撮像面に結像する。カラーフィルタ２０は、図４３に示したようなベイヤ配列のフィルタであり、第１の色成分としてのＧが市松状に配置されるとともに、第２または第３の色成分であるＲまたはＢが、それ以外の位置にさらに格子状に配置されてなる。
【００１７】
イメージセンサ３０は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等よりなる。イメージセンサ３０内には、画素に対応する複数の光電変換素子が二次元的に配置されており、各光電変換素子は、カラーフィルタ２０を通過した光を光電変換して画素信号として出力する。カラーフィルタ２０を構成するＲ，Ｇ，Ｂの各カラーフィルタ（それぞれ第２のカラーフィルタ，第１のカラーフィルタ，第３のカラーフィルタ）の配置位置は、イメージセンサ３０の画素の配置位置と対応している。そして、各画素では、Ｒ（第２の色成分），Ｇ（第１の色成分），Ｂ（第３の色成分）のいずれか１つの色成分を有する画素信号が生成される。
【００１８】
Ａ／Ｄ変換部４０は、イメージセンサ３０から出力された画素信号をデジタルの信号に変換する。色補間処理部５０は、Ａ／Ｄ変換部４０でデジタルの信号に変換された各画素信号に対して、その画素信号が有さない色成分を推定し、推定した色成分を補間する処理（デモザイク）を行う。通常、デモザイクでは、まずＲやＢがサンプリングされた位置にＧを補間する処理を行い、続いて、Ｒがサンプリングされた位置にＢを、Ｂがサンプリングされた位置にＲを補間する処理を行う。そして最後に、Ｇがサンプリングされた位置へのＲとＢの補間を行う。
【００１９】
本開示では、最初のステップである、ＲやＢがサンプリングされた位置にＧを補間する処理の精度を上げることを目的としている。補間処理の精度を向上させるために、色補間処理部５０は、例えば画像内のオブジェクトの輪郭部分など、隣接する画素間の画素値の差が大きい箇所に存在する境界線が着目画素を通っていると判断した場合には、境界線が存在する方向に応じた補間処理を行う。色補間処理部５０の処理の詳細については後述する。
【００２０】
信号処理部６０は、色補間処理部５０で色補間処理が行われた画素信号に対して、ホワイトバランスの調整やガンマ補正、輪郭強調等の信号処理を行う。なお、ここでは、色補間処理部５０からの出力信号に対してホワイトバランス補正やガンマ補正を施す例をあげたが、色補間処理部５０の前段でこれらの処理を行う構成としてもよい。色補間処理部５０の前段でこれらの処理を行うことで、隣接する画素間での極端な輝度変化が信号処理によって解消されるため、極端な輝度変化に起因して発生する偽色をより低減させることができる。
【００２１】
＜２．色補間処理部の構成例＞
次に、色補間処理部５０の構成例について、図２を参照して説明する。色補間処理部５０は、画素変化量算出部５０１と、境界線方向判定部５０２と、補間値算出部５０３と、補間処理部５０４とよりなる。画素変化量算出部５０１は、境界線が存在する方向として推定される各境界線推定方向における画素値の変化量と、各境界線推定方向と垂直な方向における画素値の変化量とを算出する。
【００２２】
境界線方向とは、図３に示すように、局所領域内に画像の濃淡（画素値）が異なる領域Ａｒ１と領域Ａｒ２とが存在する場合の、領域Ａｒ１と領域Ａｒ２との境界に沿う方向を指す。本実施の形態では、実際の境界線方向が、予め設定したいくつかの境界線推定方向のうちのいずれに該当するかを判別する材料として、境界線推定方向における画素値の変化量と、各境界線推定方向と垂直な方向における画素値の変化量とを用いる。
【００２３】
境界線が存在する場合には、境界線方向上に位置する各画素間における画素値の変化量は、境界線方向以外の他のどの方向における画素値の変化量よりも小さくなる。また、境界線方向と垂直な方向に位置する各画素間における画素値の変化量は、境界線と垂直な方向以外の他のどの方向における画素値の変化量よりも大きくなる。つまり、各境界線推定方向における画素値の変化量と、各境界線推定方向と垂直な方向における画素値の変化量との大小関係を参照することで、実際の境界線が、境界線推定方向として設定した各方向のうちのどの方向に該当するかを判別することができる。
【００２４】
境界線が存在すると推定される境界線推定方向としては、例えば８つの方向を設定する。図４は、８つの境界線推定方向を示した図である。各境界線推定方向は、画素の配置方向における水平方向を０°とした場合の角度で示され、それぞれが、画素変化量の算出結果を用いて境界線方向の判定を行う第１グループと、画素変化量の算出を行わずに境界線方向を判定する第２グループとに分類される。第１グループには、第１の境界線推定方向としての０°と、第２の境界線推定方向としての９０°と、第３の境界線推定方向としての４５°および１３５°がある。第２グループには、第４の境界線推定方向としての３０°、６０°、１２０°、１５０°がある。図４において第１グループは実線で示してあり、第２グループは破線で示してある。
【００２５】
上述したように、画素変化量算出部５０１は、第１グループに区分される各境界線推定方向における画素値の変化量のみを算出し、第２グループに区分される各境界線推定方向における画素値の変化量は算出しない。
【００２６】
境界線方向判定部５０２は、各境界線推定方向における画素値の変化量と、各境界線推定方向と垂直な方向における画素値の変化量との大小関係に基づいて、実際の境界線が８つの境界線推定方向のうちのいずれに該当するかを判別する。より詳しくは、境界線が第１グループ〜第２グループのいずれに属すのか、もしくはいずれのグループにも属さないのかを判断する。補間値算出部５０３は、境界線方向判定部５０２で判定された境界線推定方向に応じて、補間値の算出に用いる画素を選択する領域や補間値の計算方法を変え、選択した画素と計算方法を用いて補間値を算出する。補間処理部５０４は、補間値算出部５０３で算出された補間値を用いて、着目画素Ｐｉの補間処理を行う。
【００２７】
＜３．色補間処理の例＞
続いて、色補間処理部５０の各部による処理の例について説明する。説明は以下の順序で行う。
３−１．画素変化量算出部の処理の例
３−２．境界線方向判定部および補間値算出部の処理の例
３−３．各境界線推定方向における補間値算出処理の例
３−４．補間処理部の処理の例
【００２８】
［３−１．画素変化量算出部の処理の例］
図５は、画素変化量算出部５０１による処理の例を示すフローチャートである。画素変化量算出部５０１は、まず、０°の境界線推定方向における画素値の変化量（以下「画素変化量」とも称する）を算出し（ステップＳ１）、０°の境界線推定方向に垂直な方向における画素変化量を算出する（ステップＳ２）。続いて、９０°の境界線推定方向における画素変化量を算出し（ステップＳ３）、９０°の境界線推定方向に垂直な方向における画素変化量を算出する（ステップＳ４）。続いて、４５°の境界線推定方向における画素変化量を算出し（ステップＳ５）、４５°に垂直な方向における画素変化量を算出する（ステップＳ６）。続いて、１３５°の境界線推定方向における画素変化量を算出し（ステップＳ７）、１３５°に垂直な方向における画素変化量を算出し（ステップＳ８）、結合子Ｊ１に進む。なお、各境界線推定方向における画素変化量の算出は、必ずしも図５に示した順で行う必要はなく、他の順番で行うようにしてもよい。
【００２９】
画素変化量は、画素変化量算出領域として設定した所定の領域内にある複数の画素の、画素値の差分絶対値を算出することにより求める。図６は、０°の境界線推定方向における画素値変化量の算出領域（画素変化量算出領域Ａｒａ）を示した図である。図６において、着目画素Ｐｉの水平方向の座標ｈ、垂直方向の座標をｖと示している。また、着目画素Ｐｉの画素値は、着目画素Ｐｉが有する色成分と座標とを組み合わせたＲ（ｈ，ｖ）等の記号で表す。以下の説明では、着目画素ＰｉがＲの色成分を有する場合を例にあげるが、Ｂの成分を有する場合にも、同様の処理を行うものとする。
【００３０】
（３−１−１．０°の境界線推定方向および０°の境界線推定方向と垂直な方向における画素変化量の算出例）
０°の境界線推定方向では、図６に示すように、例えば着目画素Ｐｉを中心とした左右５つの画素を含む領域を、画素変化量算出領域Ａｒａとしている。そして、画素変化量算出領域Ａｒａ内の画素のうち、同じ色成分を有する画素同士の差分絶対値を算出し、算出された各差分絶対値の平均を、０°の境界線推定方向における画素変化量とみなす。０°の境界線推定方向における画素変化量をｄｉｆ＿ａｌｏｎｇ＿０と示し、絶対値生成関数をａｂｓ（）と示すと、画素変化量ｄｉｆ＿ａｌｏｎｇ＿０は、以下の式１で算出することができる。
【００３１】
ｄｉｆ＿ａｌｏｎｇ＿０＝（ａｂｓ（Ｒ（ｈ−２，ｖ）−Ｒ（ｈ，ｖ））＋ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ＋１，ｖ））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ）））／３…式１
【００３２】
すなわち、上記の式１では、差分絶対値を以下の３つの組み合わせにおいて算出し、それらの平均を算出している。
（１）着目画素Ｐｉと同じＲの色成分を有する、０°の境界線推定方向で着目画素Ｐｉと最も近接する画素のうち、左側の（ｈ−２，ｖ）の位置にある画素の画素値Ｒ（ｈ−２，ｖ）と、着目画素Ｐｉの画素値Ｒ（ｈ，ｖ）の差
（２）着目画素Ｐｉと同じＲの色成分を有する、０°の境界線推定方向で着目画素Ｐｉと最も近接する画素のうち、右側の（ｈ＋２，ｖ）の位置にある画素の画素値Ｒ（ｈ＋２，ｖ）と、着目画素Ｐｉの画素値Ｒ（ｈ，ｖ）の差
（３）Ｇの色成分を有し、０°の境界線推定方向で着目画素Ｐｉの左側に隣接する（ｈ−１，ｖ）の位置にある画素の画素値Ｇ（ｈ−１，ｖ）と、右側に隣接する（ｈ＋１，ｖ）の位置にある画素の画素値Ｇ（ｈ＋１，ｖ）の差
【００３３】
なお、式１として示した計算式では、上記３つの各組み合わせで算出された差分絶対値を均等に平均した例を示したが、これに限定されるものではなく、例えば重み付け平均等を行ってもよい。この場合は重みとして、例えば、着目画素Ｐｉとの距離が近い画素ほど大きな値を設定するようにする。
【００３４】
図７Ａおよび図７Ｂは、０°の境界線推定方向に垂直な方向における画素変化量算出領域Ａｒｃの例を示す図である。境界線推定方向に垂直な方向における画素変化量は、０°の境界線推定方向に垂直な方向、すなわち９０°の境界線推定方向に位置する各画素の差分絶対値を算出することにより求める。差分絶対値を算出する垂直方向の画素数は、例えば着目画素Ｐｉを挟む上下の２つとする。つまり、（ｈ，ｖ−１）の画素の画素値と、（ｈ，ｖ＋１）の画素の画素値との差分絶対値を算出する。
【００３５】
ここでは、着目画素Ｐｉと同じ（ｈ）である垂直方向の各画素だけでなく、右隣りの（ｈ＋１）における垂直方向の各画素と、左隣の（ｈ−１）における垂直方向の各画素の差分絶対値を求めてこれらを平均することで、境界線の検出精度を向上させている。
【００３６】
着目画素Ｐｉを中心に考えた場合、０°方向の境界線の垂直方向における位置は、着目画素Ｐｉの上と下の２パターンが考えられる。図７Ａは、境界線が着目画素Ｐｉの上を通るパターンを示し、図７Ｂは、境界線が着目画素Ｐｉの下を通るパターンを示しており、両図面において境界線は破線で示してある。しかし、いずれのパターンにおいても画素変化量算出領域Ａｒｃは同じ範囲となる。
【００３７】
このため、０°の境界線推定方向と垂直な方向における画素変化量をｄｉｆ＿ｃｒｏｓｓ＿０と示すと、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０は、以下の式２で算出することができる。
【００３８】
ｄｉｆ＿ｃｒｏｓｓ＿０＝（ａｂｓ（Ｂ（ｈ−１，ｖ−１）−Ｂ（ｈ−１，ｖ＋１））＋ａｂｓ（Ｇ（ｈ，ｖ−１）−Ｇ（ｈ，ｖ＋１））＋ａｂｓ（Ｂ（ｈ＋１，ｖ−１）−Ｂ（ｈ＋１，ｖ＋１）））／３…式２
【００３９】
なお、０°方向の境界線の垂直方向における位置は、図８Ａに破線で示すように（ｖ−２）と（ｖ−１）の間であったり、図８Ｂに破線で示すように（ｖ＋２）と（ｖ＋１）の間であったりする可能性もある。このような可能性も加味して画素変化量を求めれば、境界線の検出精度をさらに向上させることが可能となる。この場合は、図８Ａに示した画素変化量算出領域Ａｒｃと、図８Ｂに示した画素変化量算出領域Ａｒｃと、図７Ａおよび図７Ｂに示した画素変化量算出領域Ａｒｃとの３つの領域で差分絶対値を求める。そして、そのうちの最大値を、０°の境界線方向に垂直な方向における画素変化量とする。
【００４０】
図８Ａに示す例と図８Ｂに示す例では、画素変化量算出領域Ａｒｃが異なる。したがって、２つの異なる画素変化量算出領域Ａｒｃで、それぞれに画素変化量を算出するようにする。図８Ａに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿０＿ｎとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０＿ｎは以下の式３で算出できる。
【００４１】
ｄｉｆ＿ｃｒｏｓｓ＿０＿ｎ＝（ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ−１，ｖ−２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２））＋ａｂｓ（Ｇ（ｈ＋１，ｖ）−Ｇ（ｈ＋１，ｖ−２）））／３…式３
【００４２】
また、図８Ｂに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿０＿ｓとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０＿ｓは以下の式４で算出できる。
【００４３】
ｄｉｆ＿ｃｒｏｓｓ＿０＿ｓ＝（ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ−１，ｖ＋２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２））＋ａｂｓ（Ｇ（ｈ＋１，ｖ）−Ｇ（ｈ＋１，ｖ＋２）））／３…式４
【００４４】
前述したように、垂直方向の位置が異なる３つの画素変化量算出領域Ａｒｃで画素変化量を算出する場合には、３つの画素変化量算出領域Ａｒｃで算出された各画素変化量のうち、一番値が大きいものを、０°の境界線方向と垂直な方向における画素変化量とする。０°の境界線方向と垂直な方向における画素変化量をｄｉｆ＿ｃｒｏｓｓ＿０とし、図７ＡおよびＢに示した画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿０＿ｖとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０は以下の式５で算出できる。
【００４５】
ｄｉｆ＿ｃｒｏｓｓ＿０＝ＭＡＸ（ｄｉｆ＿ｃｒｏｓｓ＿０＿ｖ，ｄｉｆ＿ｃｒｏｓｓ＿０＿ｎ，ｄｉｆ＿ｃｒｏｓｓ＿０＿ｓ）…式５
【００４６】
（３−１−２．９０°の境界線推定方向および９０°の境界線推定方向と垂直な方向における画素変化量の算出例）
９０°の境界線推定方向では、図９に示すように、例えば着目画素Ｐｉを中心とした上下５つの画素を含む領域を、画素変化量算出領域Ａｒａとしている。９０°の境界線推定方向における画素変化量をｄｉｆ＿ａｌｏｎｇ＿９０と示すと、画素変化量ｄｉｆ＿ａｌｏｎｇ＿９０は、以下の式６で算出することができる。
【００４７】
ｄｉｆ＿ａｌｏｎｇ＿９０＝（ａｂｓ（Ｒ（ｈ，ｖ−２）−Ｒ（ｈ，ｖ））＋ａｂｓ（Ｇ（ｈ，ｖ−１）−Ｇ（ｈ，ｖ＋１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２）））／３…式６
【００４８】
図１０Ａおよび図１０Ｂは、９０°の境界線推定方向に垂直な方向における画素変化量算出領域Ａｒｃの例を示す図である。境界線推定方向に垂直な方向における画素変化量は、９０°の境界線推定方向に垂直な方向、すなわち０°の境界線推定方向に位置する各画素の差分絶対値を算出することにより求める。差分絶対値を算出する垂直方向の画素数は、例えば着目画素Ｐｉを挟む左右の２つとする。つまり、（ｈ−１，ｖ）の画素の画素値と、（ｈ＋１，ｖ）の画素の画素値との差分絶対値を算出する。
【００４９】
ここでは、着目画素Ｐｉと同じ（ｖ）である水平方向の各画素だけでなく、上の（ｖ＋１）における水平方向の各画素と、下の（ｖ−１）における水平方向の各画素の差分絶対値も求めて、これらを平均する。
【００５０】
着目画素Ｐｉを中心に考えた場合、９０°方向の境界線の水平方向における位置は、着目画素Ｐｉの右と左の２パターンが考えられる。図１０Ａは、境界線が着目画素Ｐｉの右を通るパターンを示し、図１０Ｂは、境界線が着目画素Ｐｉの左を通るパターンを示しており、両図面において境界線は破線で示してある。いずれのパターンにおいても画素変化量算出領域Ａｒｃは同じ範囲となる。
【００５１】
このため、９０°の境界線推定方向と垂直な方向における画素変化量をｄｉｆ＿ｃｒｏｓｓ＿９０と示すと、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿９０は、以下の式７で算出することができる。
【００５２】
ｄｉｆ＿ｃｒｏｓｓ＿９０＝（ａｂｓ（Ｂ（ｈ−１，ｖ−１）−Ｂ（ｈ＋１，ｖ−１））＋ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ＋１，ｖ））＋ａｂｓ（Ｂ（ｈ−１，ｖ＋１）−Ｂ（ｈ＋１，ｖ＋１）））／３…式７
【００５３】
なお、９０°方向の境界線の垂直方向における位置は、図１１Ａに破線で示すように（ｈ＋１）と（ｈ＋２）の間であったり、図１１Ｂに破線で示すように（ｈ−２）と（ｈ−１）の間であったりする可能性もある。このような可能性も加味して画素変化量を求めれば、境界線の検出精度をさらに向上させることが可能となる。この場合は、図１０Ａおよび図１０Ｂに示した画素変化量算出領域Ａｒｃと、図１１Ａに示した画素変化量算出領域Ａｒｃと、図１１Ｂに示した画素変化量算出領域Ａｒｃの３つの領域で差分絶対値を求める。そして、そのうちの最大値を、９０°の境界線方向に垂直な方向における画素変化量とする。
【００５４】
図１１Ａに示す例と図１１Ｂに示す例では、画素変化量算出領域Ａｒｃが異なる。したがって、２つの異なる画素変化量算出領域Ａｒｃで、それぞれに画素変化量を算出するようにする。図１１Ａに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿９０＿ｅとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｅは以下の式８で算出できる。
【００５５】
ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｅ＝（ａｂｓ（Ｇ（ｈ，ｖ−１）−Ｇ（ｈ＋２，ｖ−１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ））＋ａｂｓ（Ｇ（ｈ，ｖ＋１）−Ｇ（ｈ＋２，ｖ＋１）））／３…式８
【００５６】
また、図１１Ｂに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿９０＿ｗとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｗは以下の式９で算出できる。
【００５７】
ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｗ＝（ａｂｓ（Ｇ（ｈ，ｖ−１）−Ｇ（ｈ−２，ｖ−１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ））＋ａｂｓ（Ｇ（ｈ，ｖ＋１）−Ｇ（ｈ−２，ｖ＋１）））／３…式９
【００５８】
そして、水平方向の位置が異なる３つの画素変化量算出領域Ａｒｃで画素変化量を算出する場合には、３つの画素変化量算出領域Ａｒｃで算出された各画素変化量のうち、一番値が大きいものを、９０°の境界線方向と垂直な方向における画素変化量とする。９０°の境界線方向と垂直な方向における画素変化量をｄｉｆ＿ｃｒｏｓｓ＿９０とし、図１０ＡおよびＢに示した画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿９０＿ｈとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿９０は以下の式１０で算出できる。
【００５９】
ｄｉｆ＿ｃｒｏｓｓ＿９０＝ＭＡＸ（ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｈ，ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｅ，ｄｉｆ＿ｃｒｏｓｓ＿９０＿ｗ）…式１０
【００６０】
（３−１−３．４５°の境界線推定方向および４５°の境界線推定方向と垂直な方向における画素変化量の算出例）
４５°の境界線推定方向では、図１２に示すように、例えば着目画素Ｐｉを中心とした右斜め５つの画素を含む領域を、画素変化量算出領域Ａｒａとしている。４５°の境界線推定方向における画素変化量をｄｉｆ＿ａｌｏｎｇ＿４５と示すと、画素変化量ｄｉｆ＿ａｌｏｎｇ＿４５は、以下の式１１で算出することができる。
【００６１】
ｄｉｆ＿ａｌｏｎｇ＿４５＝（ａｂｓ（Ｒ（ｈ−２，ｖ＋２）−Ｒ（ｈ，ｖ））＋ａｂｓ（Ｂ（ｈ−１，ｖ＋１）−Ｂ（ｈ＋１，ｖ−１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ−２）））／３…式１１
【００６２】
図１３Ａおよび図１３Ｂは、４５°の境界線推定方向に垂直な方向における画素変化量算出領域Ａｒｃの例を示す図である。境界線推定方向に垂直な方向における画素変化量は、４５°に垂直な方向、すなわち１３５°の方向に位置する各画素の差分絶対値を算出することにより求める。ここでは、１３５°の方向に位置する画素のうち、着目画素Ｐｉの上隣および右隣の組み合わせと、着目画素Ｐｉの左隣および下隣のそれぞれの組み合わせにおいて差分絶対値を算出し、その平均を４５°の境界線推定方向に垂直な方向における画素変化量とする。
【００６３】
着目画素Ｐｉを中心に考えた場合、４５°方向の境界線の１３５°方向における位置は、着目画素Ｐｉの左上と右下の２パターンが考えられる。図１３Ａは、境界線が着目画素Ｐｉの左上を通るパターンを示し、図１３Ｂは、境界線が着目画素Ｐｉの右下を通るパターンを示しており、両図面において境界線は破線で示してある。いずれのパターンにおいても画素変化量算出領域Ａｒｃは同じ範囲となる。
【００６４】
このため、４５°の境界線推定方向と垂直な方向における画素変化量をｄｉｆ＿ｃｒｏｓｓ＿４５と示すと、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５は、以下の式１２で算出することができる。
【００６５】
ｄｉｆ＿ｃｒｏｓｓ＿４５＝（ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ，ｖ＋１））＋ａｂｓ（Ｇ（ｈ，ｖ−１）−Ｇ（ｈ＋１，ｖ）））／２…式１２
【００６６】
なお、４５°方向の境界線の１３５°方向における位置は、図１４Ａに破線で示すように着目画素Ｐｉの左上端を通る位置であったり、図１４Ｂに破線で示すように着目画素Ｐｉの右下端を通る位置であったりする可能性もある。このような可能性も加味して画素変化量を求めれば、境界線の検出精度をさらに向上させることが可能となる。
【００６７】
この場合は、図１４Ａおよび図１４Ｂに示した画素変化量算出領域Ａｒｃで差分絶対値を求める。図１４Ａに示した画素変化量算出領域Ａｒｃは、着目画素Ｐｉの右斜め上のＢの位置から１３５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの位置から１３５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの左斜め下のＢの位置から１３５°方向に並ぶ３つの画素で構成されるラインよりなる。図１４Ｂに示した画素変化量算出領域Ａｒｃは、着目画素Ｐｉの右斜め上のＢの位置から１３５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの位置から１３５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの左斜め下のＢの位置から１３５°方向に並ぶ３つの画素で構成されるラインよりなる。つまり、図１４Ａに示す画素変化量算出領域Ａｒｃは、１３５°の方向における右下部分に着目画素Ｐｉを含み、図１４Ｂに示す画素変化量算出領域Ａｒｃは、左上部分に着目画素Ｐｉを含む。また、図１４Ａと図１４Ｂに示すいずれの画素変化量算出領域Ａｒｃも、画素変化量を算出するラインを３本とっていることを特徴とする。
【００６８】
図１４Ａに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿４５＿ｎｗとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｎｗは以下の式１３で算出できる。
【００６９】
ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｎｗ＝（ａｂｓ（Ｂ（ｈ−１，ｖ＋１）−Ｂ（ｈ−３，ｖ−１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ−２））＋ａｂｓ（Ｂ（ｈ＋１，ｖ−１）−Ｂ（ｈ−１，ｖ−３）））／３…式１３
【００７０】
また、図１４Ｂに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿４５＿ｓｅとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｓｅは以下の式１４で算出できる。
【００７１】
ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｓｅ＝（ａｂｓ（Ｂ（ｈ−１，ｖ＋１）−Ｂ（ｈ＋１，ｖ＋３））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ＋２））＋ａｂｓ（Ｂ（ｈ＋１，ｖ−１）−Ｂ（ｈ＋３，ｖ＋１）））／３…式１４
【００７２】
すなわち、式１３および式１４では、画素変化量を算出する３本のラインで得られた各差分絶対値の平均値を、画素変化量算出領域Ａｒｃにおける画素変化量とする計算を行っている。そして、図１４Ａに示す画素変化量算出領域Ａｒｃにおける画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｎｗと、図１４Ｂに示す画素変化量算出領域Ａｒｃにおける画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｓｅのうち、値が大きいものを、４５°の境界線方向と垂直な方向における画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５とする。画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５は以下の式１５で算出できる。
【００７３】
ｄｉｆ＿ｃｒｏｓｓ＿４５＝ＭＡＸ（ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｎｗ，ｄｉｆ＿ｃｒｏｓｓ＿４５＿ｓｅ）…式１５
【００７４】
このように、画素変化量算出領域Ａｒｃの位置を、その右下部分に着目画素Ｐｉを含む位置と、その左上部分に着目画素Ｐｉを含む位置に設けることで、境界線が着目画素Ｐｉの左上を通る場合と右下を通る場合の両ケースにも対応することが可能となる。境界線が着目画素Ｐｉの左上を通る場合の例を図１５Ａに示し、境界線が着目画素Ｐｉの右下を通る場合の例を図１５Ｂに示す。図１５Ａに示した画素変化量算出領域Ａｒｃの位置は図１４Ａに示したものと同一であり、図１５Ｂに示した画素変化量算出領域Ａｒｃの位置は図１４Ｂに示したものと同一である。図１５Ａおよび図１５Ｂに示されるように、図１４Ａおよび図１４Ｂに示したものと同一の各画素変化量算出領域Ａｒｃの中に、破線で示す境界線が含まれていることがわかる。
【００７５】
すなわち、画素変化量算出領域Ａｒｃを、図１４Ａ（図１５Ａ）に示す位置と、図１４Ｂ（図１５Ｂ）に示す位置に設定することにより、画素変化量算出領域Ａｒｃ内に、着目画素Ｐｉの左上端、右下端、左上、右下を通る境界線がすべて含まれるようになる。図１３Ａと図１３Ｂに示した画素変化量算出領域Ａｒｃを対象として（式１２を用いて）画素変化量を求める場合と比べて計算量は増えるが、カバーできる境界線の位置が増えるため、算出した画素変化量ｄｉｆ＿ｃｒｏｓｓ＿４５が、より画像に適したものとなる。
【００７６】
（３−１−４．１３５°の境界線推定方向および１３５°の境界線推定方向と垂直な方向における画素変化量の算出例）
１３５°の境界線推定方向では、図１６に示すように、例えば着目画素Ｐｉを中心とした左斜め方向の５つの画素を含む領域を、画素変化量算出領域Ａｒａとしている。１３５°の境界線推定方向における画素変化量をｄｉｆ＿ａｌｏｎｇ＿１３５と示すと、画素変化量ｄｉｆ＿ａｌｏｎｇ＿１３５は、以下の式１６で算出することができる。
【００７７】
ｄｉｆ＿ａｌｏｎｇ＿１３５＝（ａｂｓ（Ｒ（ｈ−２，ｖ−２）−Ｒ（ｈ，ｖ））＋ａｂｓ（Ｂ（ｈ−１，ｖ−１）−Ｂ（ｈ＋１，ｖ＋１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ＋２）））／３…式１６
【００７８】
図１７Ａおよび図１７Ｂは、１３５°の境界線推定方向に垂直な方向における画素変化量算出領域Ａｒｃの例を示す図である。境界線推定方向に垂直な方向における画素変化量は、１３５°に垂直な方向、すなわち４５°の方向に位置する各画素の差分絶対値を算出することにより求める。ここでは、１３５°の方向に位置する画素のうち、着目画素Ｐｉの上および左隣の組み合わせと、着目画素Ｐｉの右隣および下のそれぞれの組み合わせにおいて差分絶対値を算出し、その平均を１３５°の境界線推定方向に垂直な方向における画素変化量とする。
【００７９】
着目画素Ｐｉを中心に考えた場合、１３５°方向の境界線の４５°方向における位置は、着目画素Ｐｉの右上と左下の２パターンが考えられる。図１７Ａは、境界線が着目画素Ｐｉの右上を通るパターンを示し、図１７Ｂは、境界線が着目画素Ｐｉの左下を通るパターンを示しており、両図面において境界線は破線で示してある。いずれのパターンにおいても画素変化量算出領域Ａｒｃは同じ範囲となる。
【００８０】
このため、１３５°の境界線推定方向と垂直な方向における画素変化量をｄｉｆ＿ｃｒｏｓｓ＿１３５と示すと、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５は、以下の式１７で算出することができる。
【００８１】
ｄｉｆ＿ｃｒｏｓｓ＿１３５＝（ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ，ｖ−１））＋ａｂｓ（Ｇ（ｈ，ｖ＋１）−Ｇ（ｈ＋１，ｖ）））／２…式１７
【００８２】
なお、１３５°方向の境界線の４５°方向における位置は、図１８Ａに破線で示すように着目画素Ｐｉの右上端を通る位置であったり、図１８Ｂに破線で示すように着目画素Ｐｉの左下端を通る位置であったりする可能性もある。このような可能性も加味して画素変化量を求めれば、境界線の検出精度をさらに向上させることが可能となる。この場合は、図１８Ａおよび図１８Ｂに示した画素変化量算出領域Ａｒｃで差分絶対値を求める。
【００８３】
図１８Ａに示した画素変化量算出領域Ａｒｃは、着目画素Ｐｉの左斜め上のＢの位置から４５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの位置から４５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの右斜め下のＢの位置から４５°方向に並ぶ３つの画素で構成されるラインよりなる。図１８Ｂに示した画素変化量算出領域Ａｒｃは、着目画素Ｐｉの左斜め上のＢの位置から４５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの位置から４５°方向に並ぶ３画素で構成されるラインと、着目画素Ｐｉの右斜め下のＢの位置から４５°方向に並ぶ３つの画素で構成されるラインよりなる。つまり、図１８Ａに示す画素変化量算出領域Ａｒｃは、４５°方向の左下部分に着目画素Ｐｉを含み、図１８Ｂに示す画素変化量算出領域Ａｒｃは、右上部分に着目画素Ｐｉを含む。また、図１８Ａと図１８Ｂに示すいずれの画素変化量算出領域Ａｒｃも、画素変化量を算出するラインを３本とっていることを特徴とする。
【００８４】
図１８Ａに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｎｅとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｎｅは以下の式１８で算出できる。
【００８５】
ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｎｅ＝（ａｂｓ（Ｂ（ｈ−１，ｖ−１）−Ｂ（ｈ＋１，ｖ−３））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ−２））＋ａｂｓ（Ｂ（ｈ＋１，ｖ＋１）−Ｂ（ｈ＋３，ｖ−１）））／３…式１８
【００８６】
また、図１８Ｂに示す画素変化量算出領域Ａｒｃにおける画素変化量をｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｓｗとすると、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｓｗは以下の式１９で算出できる。
【００８７】
ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｓｗ＝（ａｂｓ（Ｂ（ｈ−１，ｖ−１）−Ｂ（ｈ−３，ｖ＋１））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ＋２））＋ａｂｓ（Ｂ（ｈ＋１，ｖ＋１）−Ｂ（ｈ−１，ｖ＋３）））／３…式１９
【００８８】
すなわち、式１８および式１９では、画素変化量を算出する３本のラインで得られた各差分絶対値の平均値を、画素変化量算出領域Ａｒｃにおける画素変化量とする計算を行っている。そして、図１８Ａに示す画素変化量算出領域Ａｒｃにおける画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｎｅと、図１８Ｂに示す画素変化量算出領域Ａｒｃにおける画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｓｗのうち、値が大きいものを、１３５°の境界線方向と垂直な方向における画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５とする。画素変化量ｄｉｆ＿ｃｒｏｓｓ＿１３５は以下の式２０で算出できる。
【００８９】
ｄｉｆ＿ｃｒｏｓｓ＿１３５＝ＭＡＸ（ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｎｅ，ｄｉｆ＿ｃｒｏｓｓ＿１３５＿ｓｗ）…式２０
【００９０】
このように、画素変化量算出領域Ａｒｃの位置を、４５°方向における左下部分に着目画素Ｐｉを含む位置と、４５°方向における右上部分に着目画素Ｐｉを含む位置とすることで、境界線が着目画素Ｐｉの右上を通る場合と左下を通る場合の両ケースにも対応することが可能となる。境界線が着目画素Ｐｉの右上を通る場合の例を図１９Ａに示し、境界線が着目画素Ｐｉの左下を通る場合の例を図１９Ｂに示す。図１９Ａに示した画素変化量算出領域Ａｒｃの位置は図１８Ａに示したものと同一であり、図１９Ｂに示した画素変化量算出領域Ａｒｃの位置は図１８Ｂに示したものと同一である。図１９Ａおよび図１９Ｂに示されるように、図１８Ａおよび図１８Ｂに示したものと同一の各画素変化量算出領域Ａｒｃの中に、破線で示す境界線が含まれていることがわかる。
【００９１】
すなわち、画素変化量算出領域Ａｒｃを、図１８Ａ（図１９Ａ）に示す位置と、図１８Ｂ（図１９Ｂ）に示す位置に設定することにより、画素変化量算出領域Ａｒｃ内に、着目画素Ｐｉの右上端、左下端、右上、左下を通る境界線がすべて含まれるようになる。
【００９２】
［３−２．境界線方向判定部および補間値算出部の処理の例］
次に、色補間処理部５０の境界線方向判定部５０２の処理の例について、図２０のフローチャートを参照して、図５の結合子Ｊ１以降の処理について説明する。まず、画素変化量算出部５０１が算出した各境界線推定方向における画素変化量の中で、最小の画素変化量が算出された方向が検出される（ステップＳ１１）。画素変化量の最小値をｄｉｆ＿ａｌｏｎｇ＿ｎ１とすると、画素変化量の最小値ｄｉｆ＿ａｌｏｎｇ＿ｎ１は、以下の式２１で算出できる。
【００９３】
ｄｉｆ＿ａｌｏｎｇ＿ｎ１＝ＭＩＮ（ｄｉｆ＿ａｌｏｎｇ＿０，ｄｉｆ＿ａｌｏｎｇ＿９０，ｄｉｆ＿ａｌｏｎｇ＿４５，ｄｉｆ＿ａｌｏｎｇ＿１３５）…式２１
そして、画素変化量ｄｉｆ＿ａｌｏｎｇ＿ｎ１が算出された境界線推定方向を、第１の方向Ａ＿ａ１とする。
【００９４】
続いて、画素変化量算出部５０１が算出した各境界線推定方向と垂直な各方向における画素変化量の中で、最大の画素変化量が算出された方向が検出される（ステップＳ１２）。画素変化量の最大値をｄｉｆ＿ｃｒｏｓｓ＿ｍ１とすると、画素変化量の最大値ｄｉｆ＿ｃｒｏｓｓ＿ｍ１は、以下の式２２で算出できる。
【００９５】
ｄｉｆ＿ｃｒｏｓｓ＿ｍ１＝ＭＡＸ（ｄｉｆ＿ｃｒｏｓｓ＿０，ｄｉｆ＿ｃｒｏｓｓ＿９０，ｄｉｆ＿ｃｒｏｓｓ＿４５，ｄｉｆ＿ｃｒｏｓｓ＿１３５）…式２２
そして、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿ｍ１が算出された境界線推定方向、つまり、”ｄｉｆ＿ｃｒｏｓｓ＿”の直後の数字部分を、第３の方向Ａ＿ｒ１とし、Ａ＿ｒ１と垂直な方向、つまり、画素変化量が最大になる方向を、第２の方向Ａ＿ｃ１とする。
【００９６】
次に、境界線方向判定部５０２は、第１の方向Ａ＿ａ１と、第２の方向Ａ＿ｃ１とが直交する関係にあるかを判断する（ステップＳ１３）。直交する関係である場合には、境界線方向が、第１グループに属する境界線推定方向のうちのいずれかであると判断し（ステップＳ１４）、結合子Ｊ２に進む。第１の方向Ａ＿ａ１と、第２の方向Ａ＿ｃ１とが直交しない場合には、結合子Ｊ３に進む。
【００９７】
ここで、図２１を参照して、第１の方向Ａ＿ａ１と、第２の方向Ａ＿ｃ１の情報に基づいて境界線方向を判断できる理由について説明する。図２１には、各境界線推定方向を矢印で示し、その方向で算出された画素変化量の大きさを、矢印の長さで示している。例えば、実際の境界線方向が０°である場合とは、図２１Ａに示すように、画素の濃淡が異なる領域Ａｒ１と領域Ａｒ２とが、０°の境界線方向を境に隣接している場合であると考えられる。この場合は、各境界線推定方向で算出された各画素変化量のうち、０°の境界線方向で算出された画素変化量ｄｉｆ＿ａｌｏｎｇ＿０が一番小さい値となる。すなわち、第１の方向Ａ＿ａ１は、画素変化量ｄｉｆ＿ａｌｏｎｇ＿０が算出された０°の境界線推定方向となる。
【００９８】
また、各境界線推定方向と垂直な各方向で算出された各画素変化量のうち一番大きな値となるのは、図２１Ｂに示すように、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０である。つまり、第２の方向Ａ＿ｃ１は、画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０が算出された、０°の境界線推定方向となる。したがって、実際の境界線が０°のライン上に存在する場合には、図２１Ｃに示すように、第１の方向Ａ＿ａ１と第２の方向Ａ＿ｃ１とは直交する。
【００９９】
同様に、境界線が９０°のライン上に存在する場合、４５°のライン上に存在する場合、１３５°のライン上に存在する場合にも、第１の方向Ａ＿ａ１と第２の方向Ａ＿ｃ１とは直交する。したがって、第１の方向Ａ＿ａ１と第２の方向Ａ＿ｃ１とが直交する関係にある場合には、境界線方向は第１のグループに属する各境界線推定方向のうちいずれかに該当するものと判断できる。
【０１００】
次に、図２２のフローチャートを参照して、図２０の結合子Ｊ２以降の処理について説明する。結合子Ｊ２以降では、第１グループであると判定された各境界線推定方向が具体的にどの方向であるかを境界線方向判定部５０２（図２参照）が判定し、その結果をうけて、補間値算出部５０３が各境界線推定方向に応じた補間値算出方法を選択している。
【０１０１】
まず、境界線方向判定部５０２が、第１の方向Ａ＿ａ１が０°であるかを判断し（ステップＳ２１）、第１の方向Ａ＿ａ１が０°である場合には、０°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ２２）、結合子Ｊ５に進む。第１の方向Ａ＿ａ１が０°でなかった場合には、次に第１の方向Ａ＿ａ１が９０°であるかを判定し（ステップＳ２３）、第１の方向Ａ＿ａ１が９０°である場合には、９０°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ２４）、結合子Ｊ５に進む。
【０１０２】
第１の方向Ａ＿ａ１が９０°でなかった場合には、第１の方向Ａ＿ａ１が４５°であるかを判断する（ステップＳ２５）。第１の方向Ａ＿ａ１が４５°である場合には、４５°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ２６）、結合子Ｊ５に進む４５°でない場合には、１３５°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ２７）、結合子Ｊ５に進む。
【０１０３】
次に、図２０の結合子Ｊ３以降の処理の例について、図２３のフローチャートを参照して説明する。結合子Ｊ３以降では、境界線方向判定部５０２が、境界線方向が第２グループに属する境界線推定方向のうちいずれかに該当するか、もしくは、いずれにも該当しないかを判断している。具体的には、第１の方向Ａ＿ａ１と第３の方向Ａ＿ｒ１とが、第１グループに属する境界線推定方向のうちの隣り合う方向である場合には、境界線方向は、その２つの方向に挟まれた位置にある第２グループの境界線推定方向であると判定する。そしてその結果をうけて、補間値算出部５０３が各境界線推定方向に応じた補間値算出方法を選択している。
【０１０４】
まず、境界線方向判定部５０２が、第１の方向Ａ＿ａ１が０°であり、かつ第３の方向Ａ＿ｒ１が４５°であるかを判断する（ステップＳ３１）。“Ｙｅｓ”の場合には、境界線方向は３０°の境界線推定方向にあると判断し（ステップＳ３２）、補間値算出部５０３が、３０°の境界線推定方向用の補間値算出方法で補間値を算出する（ステップＳ３３）。ステップＳ３１で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が４５°であり、かつ第３の方向Ａ＿ｒ１が０°であるかを判断する（ステップＳ３４）。“Ｙｅｓ”の場合には、境界線方向は３０°の境界線推定方向にあると判断し（ステップＳ３２）、補間値算出部５０３が、３０°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ３３）、結合子Ｊ５に進む。
【０１０５】
図２４Ａおよび図２４Ｂは、境界線方向が３０°である場合の、領域Ａｒ１および領域Ａｒ２の構成例を示した図である。境界線方向が３０°である場合には、３０°の方向に存在する境界線を境に、互いに画素値の大きく異なる領域Ａｒ１と領域Ａｒ２とが隣接しているものと考えられる。この場合、画素変化量が最小となるのは境界線方向である３０°の方向であり、画素変化量が最大となるのは、境界線方向と垂直な方向である１２０°の方向となるはずである。
【０１０６】
しかし、このような第２グループに分類される境界線推定方向においても画素変化量を算出すると、計算量および計算時間が増大してしまう。このため本開示では、画素変化量を算出した第１グループにおける算出結果を用いて、第２グループの境界線推定方向の判別も行っている。
【０１０７】
例えば図２４Ａに示すように、算出された画素変化量が最小であった境界線推定方向、すなわち第１の方向Ａ＿ａ１が０°（第１の境界線推定方向：第１グループ）であったとする。また、算出された画素変化量が最大であった境界線推定方向と垂直な方向、すなわち第２の方向Ａ＿ｃ１が１３５°（第３の境界線推定方向：第１グループ）であるとすると、第３の方向Ａ＿ｒ１が４５°（第３の境界線推定方向：第１グループ）となる。このように、第１の方向Ａ＿ａ１と第３の方向Ａ＿ｒ１とが、第１グループに属する境界線推定方向のうちの隣り合う方向である場合には、境界線方向は、その２つの方向に挟まれた位置にある第２グループの境界線推定方向であると判定する。
【０１０８】
例えば、図２４Ａに示した、第１の方向Ａ＿ａ１が０°であり、かつ第３の方向Ａ＿ｒ１が４５°である場合は、境界線方向は３０°の境界線推定方向にあると判定できる。また、図２４Ｂに示した、第１の方向Ａ＿ａ１が４５°であり、かつ第３の方向Ａ＿ｒ１が０°である場合も、境界線方向は３０°の境界線推定方向にあると判定できる。
【０１０９】
図２３に戻って説明を続ける。ステップＳ３４で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が０°であり、かつ第３の方向Ａ＿ｒ１が１３５°であるかを判断する（ステップＳ３５）。“Ｙｅｓ”の場合には、境界線方向は１５０°の境界線推定方向にあると判断し（ステップＳ３６）、補間値算出部５０３が、３０°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ３３）、結合子Ｊ５に進む。１５０°の境界線推定方向と判断した場合にも、３０°の境界線推定方向用と共通の補間値算出方法を用いることができる理由については、後述する補間値算出部５０３による処理の説明時に併せて説明する。
【０１１０】
ステップＳ３５で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が１３５°であり、かつ第３の方向Ａ＿ｒ１が０°であるかを判断する（ステップＳ３７）。“Ｙｅｓ”の場合には、境界線方向は１５０°の境界線推定方向にあると判断し（ステップＳ３６）、補間値算出部５０３が、３０°の境界線推定方向用の補間値算出方法で補間値を算出する（ステップＳ３３）。
【０１１１】
ステップＳ３７で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が４５°であり、かつ第３の方向Ａ＿ｒ１が９０°であるかを判断する（ステップＳ３８）。“Ｙｅｓ”の場合には、境界線方向は６０°の境界線推定方向にあると判断し（ステップＳ３９）、補間値算出部５０３が、６０°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ４０）、結合子Ｊ５に進む。ステップＳ３８で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が９０°であり、かつ第３の方向Ａ＿ｒ１が４５°であるかを判断する（ステップＳ４１）。“Ｙｅｓ”の場合には、境界線方向は６０°の境界線推定方向にあると判断し（ステップＳ３９）、補間値算出部５０３が、６０°の境界線推定方向用の補間値算出方法で補間値を算出し（ステップＳ４０）、結合子Ｊ５に進む。
【０１１２】
ステップＳ４１で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が１３５°であり、かつ第３の方向Ａ＿ｒ１が９０°であるかを判断する（ステップＳ４２）。“Ｙｅｓ”の場合には、境界線方向は１２０°の境界線推定方向にあると判断し（ステップＳ４３）、補間値算出部５０３が、６０°の境界線推定方向用の補間値算出方法で補間値を算出する（ステップＳ４０）。１２０°の境界線推定方向と判断した場合にも、６０°の境界線推定方向用と共通の補間値算出方法を用いることができる理由についても、後述する補間値算出部５０３による処理の説明時に併せて説明する。
【０１１３】
ステップＳ４２で“Ｎｏ”が選択された場合には、第１の方向Ａ＿ａ１が９０°であり、かつ第３の方向Ａ＿ｒ１が１３５°であるかを判断する（ステップＳ４４）。“Ｙｅｓ”の場合には、境界線方向は１２０°の境界線推定方向にあると判断し（ステップＳ４３）、補間値算出部５０３が、６０°の境界線推定方向用の補間値算出方法で補間値を算出する（ステップＳ４０）。ステップＳ４４で“Ｎｏ”が選択された場合には、結合子Ｊ４に進む。
【０１１４】
［３−３．補間値算出部による各境界線推定方向の補間値算出方法の例］
次に、補間値算出部による具体的な補間値算出方法について、以下の順番で説明する。
３−３−１．０°の境界線推定方向における補間値算出方法
３−３−２．９０°の境界線推定方向における補間値算出方法
３−３−３．４５°の境界線推定方向における補間値算出方法
３−３−４．１３５°の境界線推定方向における補間値算出方法
３−３−５．３０°の境界線推定方向における補間値算出方法
３−３−６．６０°の境界線推定方向における補間値算出方法
３−３−７．いずれの境界線推定方向にも該当しない場合の補間値算出方法
【０１１５】
（３−３−１．０°の境界線推定方向における補間値算出方法）
まず、０°の境界線推定方向における補間値算出方法について、図２５を参照して説明する。以下の説明では、着目画素Ｐｉの補間値をｇ（ｈ，ｖ）と示す。０°の境界線推定方向では、図２５に示すように、着目画素Ｐｉと隣接する左右のＧの画素の画素値Ｇ（ｈ−１，ｖ），Ｇ（ｈ＋１，ｖ）を用いて補間値を算出する。
【０１１６】
なお、０°の境界線推定方向においては、着目画素Ｐｉと隣接する２つのＧの画素の画素値Ｇ（ｈ−１，ｖ），Ｇ（ｈ＋１，ｖ）の平均値を補間値とする。この場合の補間値ｇ（ｈ，ｖ）の計算式は、以下の式２３となる。
ｇ（ｈ，ｖ）＝（Ｇ（ｈ−１，ｖ）＋Ｇ（ｈ＋１，ｖ））／２…式２３
【０１１７】
なお、着目画素Ｐｉの画素値Ｒ（ｈ，ｖ）が、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値（Ｒ（ｈ−２，ｖ），Ｒ（ｈ＋２，ｖ））と比較して極値である場合に、着目画素の輝度が極値であるとして、補正を行ってもよい。すなわち、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値Ｒ（ｈ，ｖ）,Ｒ（ｈ−２，ｖ），Ｒ（ｈ＋２，ｖ）と、着目画素Ｐｉの画素値との差の情報を、補間値に反映させてもよい。この場合の補間値ｇ（ｈ，ｖ）は、以下の式２４で算出できる。
【０１１８】
ｇ（ｈ，ｖ）＝（Ｇ（ｈ−１，ｖ）＋Ｇ（ｈ＋１，ｖ））／２＋（（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ））＋（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ）））／２×ｓｃｌｙ…式２４
ここで、ｓｃｌｙは、補正項の効き目を調整する係数で、例えば以下の式を満たす値に設定される。
ｓｃｌｙ≦１
【０１１９】
（３−３−２．９０°の境界線推定方向における補間値算出方法）
次に、９０°の境界線推定方向における補間値算出方法について、図２６を参照して説明する。９０°の境界線推定方向では、図２６に示すように、着目画素Ｐｉと隣接する上下のＧの画素の画素値Ｇ（ｈ，ｖ−１），Ｇ（ｈ，ｖ＋１）を用いて補間値を算出する。この場合の補間値ｇ（ｈ，ｖ）の計算式は、以下の式２５となる。
ｇ（ｈ，ｖ）＝（Ｇ（ｈ，ｖ−１）＋Ｇ（ｈ，ｖ＋１））／２…式２５
【０１２０】
なお、９０°の境界線推定方向においても、着目画素Ｐｉの画素値Ｒ（ｈ，ｖ）が、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値（Ｒ（ｈ，ｖ−２），Ｒ（ｈ，ｖ＋２））と比較して、極値である場合に、着目画素の輝度が極値であるとして、補正を行ってもよい。この場合の補間値ｇ（ｈ，ｖ）は、以下の式２６で算出できる。
【０１２１】
ｇ（ｈ，ｖ）＝（Ｇ（ｈ，ｖ−１）＋Ｇ（ｈ，ｖ＋１））／２＋（（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２））＋（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２）））／２×ｓｃｌｙ…式２６
ここでも、ｓｃｌｙは、補正項の効き目を調整する係数で、
ｓｃｌｙ≦１
【０１２２】
（３−３−３．４５°の境界線推定方向における補間値算出方法）
次に、４５°の境界線推定方向における補間値算出方法について、図２７と図２８を参照して説明する。４５°の境界線推定方向では、着目画素Ｐｉと隣接する４つのＧの画素の画素値Ｇ（ｈ，ｖ−１），Ｇ（ｈ−１，ｖ），Ｇ（ｈ＋１，ｖ），Ｇ（ｈ，ｖ＋１）を、補間値の算出に用いる。４５°の境界線推定方向においては、境界線が着目画素Ｐｉの中心を通っているか否かによって、補間値の算出方法を変えることを行う。
【０１２３】
図２７Ａおよび図２７Ｂは、境界線方向が４５°である場合の境界線領域の長手方向の中心線（以下、「境界線の重心」と称する）と着目画素Ｐｉとの位置の対応のイメージを示す図である。図２７Ａは、境界線の重心が着目画素Ｐｉのほぼ中心を通っている場合の例を示し、図２７Ｂは、境界線の重心が着目画素Ｐｉの中心からずれた位置を通っている場合の例を示している。
【０１２４】
図２７Ａに示すように、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心を通っている場合には、着目画素Ｐｉの画素値Ｒ（ｈ,ｖ）が、最近接の同じ色の画素値（Ｒ（ｈ,ｖ−２）、Ｒ（ｈ−２,ｖ）、Ｒ（ｈ＋２,ｖ）、Ｒ（ｈ,ｖ＋２））と比べて高くまたは低くなる。そして、着目画素Ｐｉに隣接する斜線で示した４つのＧの画素と、太枠で示した境界線とが重なる部分の面積は、４つのＧの画素のそれぞれにおいて等しくなる。したがって、着目画素Ｐｉの画素値Ｒ（ｈ,ｖ）が、最近接の同じ色の各画素値と比較して最大値または最小値（極値）となった場合には、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心を通っているとみなし、４つのＧの画素を単純平均した値を補間値とする。この場合の補間値ｇ（ｈ，ｖ）の計算式は、以下の式２７で算出できる。
ｇ（ｈ，ｖ）＝（Ｇ（ｈ，ｖ−１）＋Ｇ（ｈ−１，ｖ）＋Ｇ（ｈ＋１，ｖ）＋Ｇ（ｈ，ｖ＋１））／４…式２７
【０１２５】
なお、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心を通っていると判断した場合には、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値の情報を、補間値ｇ（ｈ，ｖ）に反映させる、輝度補正を行ってもよい。この場合は、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値Ｒ（ｈ，ｖ−２），Ｒ（ｈ−２，ｖ），Ｒ（ｈ＋２，ｖ），Ｒ（ｈ，ｖ＋２）を用いて補正項を作り、この補正項を、４つのＧの画素を単純平均した値に加算する。輝度補正を行う場合の補間値ｇ（ｈ，ｖ）の計算式は以下の式２８に示される。
【０１２６】
ｇ（ｈ，ｖ）＝（Ｇ（ｈ，ｖ−１）＋Ｇ（ｈ−１，ｖ）＋Ｇ（ｈ＋１，ｖ）＋Ｇ（ｈ，ｖ＋１））／４＋（（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−１））＋（Ｒ（ｈ，ｖ）−Ｒ（ｈ−１，ｖ））＋（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋１））＋（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−１）））／４×ｓｃｌｙ…式２８
ここでも、ｓｃｌｙは、補正項の効き目を調整する係数で、
ｓｃｌｙ≦１
【０１２７】
一方、図２７Ｂに示すように、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心からずれた位置を通っている場合には、着目画素Ｐｉに隣接する斜線で示した４つのＧの画素と、太枠で示した境界線とが重なる部分の面積は、４つのＧの画素で等しくはならない。このような場合、着目画素Ｐｉの画素値Ｒ（ｈ,ｖ）が、最近接の同じ色の画素値（Ｒ（ｈ,ｖ−２）、Ｒ（ｈ−２,ｖ）、Ｒ（ｈ＋２,ｖ）、Ｒ（ｈ,ｖ＋２））と比べて極値になることはない。
【０１２８】
このため、着目画素Ｐｉの画素値が、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値と比較して極値である場合には、境界線の重心が着目画素Ｐｉの中心からずれているものと判断できる。したがって、４つのＧの画素の単純平均ではなく、重心のずれ量に応じた重み係数を用いた重みづけ平均で補間値を算出する必要がある。この場合の計算式は以下の式２９となる。
【０１２９】
ｇ（ｈ，ｖ）＝ｓｃａｌｅ＿ｎ×（Ｇ（ｈ，ｖ−１）＋Ｇ（ｈ−１，ｖ））＋ｓｃａｌｅ＿ｓ×（Ｇ（ｈ＋１，ｖ）＋Ｇ（ｈ，ｖ＋１））…式２９
【０１３０】
上記式２９における“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”は、重み係数である。“ｓｃａｌｅ＿ｎ”は、図２８に「重心補正方向ｎ」と示した左上方向の重みを決める係数であり、“ｓｃａｌｅ＿ｓ”は、「重心補正方向ｓ」と示した右下方向の重みを決める係数である。
【０１３１】
Ｇ（ｈ，ｖ−１），Ｇ（ｈ−１，ｖ），Ｇ（ｈ＋１，ｖ），Ｇ（ｈ，ｖ＋１）の各値は、補間値ｇ（ｈ，ｖ）に正の値として加算されるべきであるため、“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”とは、以下の各式を満たす値に設定される。
ｓｃａｌｅ＿ｎ×２＋ｓｃａｌｅ＿ｓ×２＝１
ｓｃａｌｅ＿ｎ＞０
ｓｃａｌｅ＿ｓ＞０
境界線の重心のずれを考慮する必要が無い場合には、“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”とは同じ値となるため、それぞれ０．２５となる。
【０１３２】
“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”の比率を決める補正量を補正量ｔｍｐとすると、“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”は以下のように示される。
ｓｃａｌｅ＿ｎ＝０．２５−ｔｍｐ
ｓｃａｌｅ＿ｓ＝０．２５＋ｔｍｐ
【０１３３】
補正量ｔｍｐの値は、以下の式３０で算出することができる。
【０１３４】
補正量ｔｍｐ＝（ｄｉｆ＿ｎ−ｄｉｆ＿ｓ）／（ｄｉｆ＿ｎ＋ｄｉｆ＿ｓ）×ａｄｊ０…式３０
【０１３５】
補間値ｇ（ｈ，ｖ）の算出に用いられるＧ（ｈ，ｖ−１），Ｇ（ｈ−１，ｖ），Ｇ（ｈ＋１，ｖ），Ｇ（ｈ，ｖ＋１）は、正の値で補間値ｇ（ｈ，ｖ）に加算されるべきである。すなわち、補正量ｔｍｐの絶対値は０．２５未満になるように調整する必要がある。上記式３０の“ａｄｊ０”は、この調整を行う係数であり、例えば０．１２５等の値が設定される。
【０１３６】
上記式３０において、“ｄｉｆ＿ｎ”は着目画素Ｐｉの画素値Ｒ（ｈ，ｖ）と、着目画素Ｐｉと上と左で最近接の同色の画素の各画素値との差分絶対値を示す。“ｄｉｆ＿ｓ”は着目画素Ｐｉの画素値Ｒ（ｈ，ｖ）と、着目画素Ｐｉと下と右で最近接の同色の画素の各画素値との差分絶対値を示す。“ｄｉｆ＿ｎ”は以下の式３１によって求めることができ、“ｄｉｆ＿ｓ”は以下の式３２によって求めることができる。
【０１３７】
ｄｉｆ＿ｎ＝（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ）））…式３１
【０１３８】
ｄｉｆ＿ｓ＝（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ）））…式３２
【０１３９】
（３−３−４．１３５°の境界線推定方向における補間値算出方法）
次に、１３５°の境界線推定方向における補間値算出方法について、図２９と図３０を参照して説明する。１３５°の境界線推定方向でも、着目画素Ｐｉと隣接する４つのＧの画素の画素値Ｇ（ｈ，ｖ−１），Ｇ（ｈ−１，ｖ），Ｇ（ｈ＋１，ｖ），Ｇ（ｈ，ｖ＋１）を、補間値の算出に用いる。また、１３５°の境界線推定方向においても、境界線が着目画素Ｐｉの中心を通っているか否かによって、補間値の算出方法を変えることを行う。
【０１４０】
図２９Ａおよび図２９Ｂは、境界線方向が１３５°である場合の境界線の重心と着目画素Ｐｉとの位置の対応のイメージを示す図である。図２９Ａは、境界線の重心が着目画素Ｐｉのほぼ中心を通っている場合の例を示し、図２９Ｂは、境界線の重心が着目画素Ｐｉの中心からずれた位置を通っている場合の例を示している。
【０１４１】
図２９Ａに示すように、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心を通っている場合には、着目画素Ｐｉに隣接する斜線で示した４つのＧの画素と、太枠で示した境界線とが重なる部分の面積は、４つのＧの画素のそれぞれにおいて等しくなる。このため、４つのＧの画素を単純平均した値を補間値とすることができる。この場合の補間値ｇ（ｈ，ｖ）は、上述した式２７で算出できる。
【０１４２】
なお、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心を通っていると判断した場合には、４５°の境界線方向のケースと同様に、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値の情報を、補間値ｇ（ｈ，ｖ）に反映させる、輝度補正を行ってもよい。この場合の計算式は、上述した式２８に示される。
【０１４３】
一方、図２９Ｂに示すように、境界線の重心Ｇｒが着目画素Ｐｉのほぼ中心からずれた位置を通っている場合には、着目画素Ｐｉに隣接する斜線で示した４つのＧの画素と、太枠で示した境界線とが重なる部分の面積は、４つのＧの画素で等しくはならない。このような場合、着目画素Ｐｉの画素値Ｒ（ｈ,ｖ）が、最近接の同じ色の画素値（Ｒ（ｈ,ｖ−２）、Ｒ（ｈ−２,ｖ）、Ｒ（ｈ＋２,ｖ）、Ｒ（ｈ,ｖ＋２））と比べて極値になることはない。
【０１４４】
このため、着目画素Ｐｉの画素値が、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値と比較して極値でない場合には、境界線の重心が着目画素Ｐｉの中心からずれているものと判断できる。したがって、４つのＧの画素の単純平均ではなく、重心のずれ量に応じた重み係数を用いた重みづけ平均で補間値を算出する必要がある。この場合の補間値ｇ（ｈ，ｖ）の算出は、以下の式３３を用いて算出することができる。
【０１４５】
ｇ（ｈ，ｖ）＝ｓｃａｌｅ＿ｎ×（Ｇ（ｈ，ｖ−１）＋Ｇ（ｈ＋１，ｖ））＋ｓｃａｌｅ＿ｓ×（Ｇ（ｈ−１，ｖ）＋Ｇ（ｈ，ｖ＋１））…式３３
【０１４６】
ここでも、“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”の配分を決めるために補正量ｔｍｐを用いるものとし、補正量ｔｍｐは、上述した式３０を用いて求めることができる。ここでの“ｓｃａｌｅ＿ｎ”は、図３０に「重心補正方向ｎ」と示した右上方向の重みを決める係数であり、“ｓｃａｌｅ＿ｓ”は、「重心補正方向ｓ」と示した左下方向の重みを決める係数である。補正量ｔｍｐの算出に用いられる差分絶対値ｄｉｆ＿ｎと差分絶対値ｄｉｆ＿ｓは、それぞれ以下の式３４と式３５によって算出することができる。
【０１４７】
ｄｉｆ＿ｎ＝（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ）））…式３４
【０１４８】
ｄｉｆ＿ｓ＝（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ）））…式３５
【０１４９】
（３−３−５．３０°の境界線推定方向における補間値算出方法）
次に、３０°の境界線推定方向における補間値算出方法について、図３１を参照して説明する。３０°の境界線推定方向では、図３１に示したように、着目画素Ｐｉと隣接する上下左右Ｇの画素の画素値Ｇ（ｈ，ｖ−１），Ｇ（ｈ−１，ｖ），（ｈ＋１，ｖ），Ｇ（ｈ，ｖ＋１）とを、補間値の算出に用いる。補間値ｇ（ｈ，ｖ）の算出は、以下の式３６を用いて算出することができる。
【０１５０】
ｇ（ｈ，ｖ）＝ｓｃａｌｅ＿ｎ×Ｇ（ｈ，ｖ−１）＋ｓｃａｌｅ＿ｓ×Ｇ（ｈ，ｖ＋１）＋ｓｃａｌｅ＿ｗ×Ｇ（ｈ−１，ｖ）＋ｓｃａｌｅ＿ｅ×Ｇ（ｈ＋１，ｖ）…式３６
【０１５１】
“ｓｃａｌｅ＿ｎ”，“ｓｃａｌｅ＿ｓ”，“ｓｃａｌｅ＿ｗ”，“ｓｃａｌｅ＿ｅ”は重み係数である。“ｓｃａｌｅ＿ｎ”は、図３１に「重心補正方向ｎ」と示した上方向の重みを決める係数であり、“ｓｃａｌｅ＿ｓ”は、「重心補正方向ｓ」と示した下方向の重みを決める係数である。“ｓｃａｌｅ＿ｗ”は、図３１に「重心補正方向ｗ」と示した左方向の重みを決める係数であり、“ｓｃａｌｅ＿ｅ”は、「重心補正方向ｅ」と示した右方向の重みを決める係数である。各重み係数は補間値ｇ（ｈ，ｖ）に正の値として加算されるべきであるため、各重み係数間では以下の関係が成立する。
ｓｃａｌｅ＿ｎ＋ｓｃａｌｅ＿ｓ＋ｓｃａｌｅ＿ｗ＋ｓｃａｌｅ＿ｅ＝１
ｓｃａｌｅ＿ｎ＞０
ｓｃａｌｅ＿ｓ＞０
ｓｃａｌｅ＿ｗ＞０
ｓｃａｌｅ＿ｅ＞０
【０１５２】
図３１は、３０°の方向に存在する境界線が、着目画素Ｐｉの中心を通っている場合の例を示す図である。境界線方向が３０°の場合は、着目画素Ｐｉの右側のＧの画素（ｈ＋１，ｖ）および左側のＧの画素（ｈ−１，ｖ）と太枠で示した境界線とが重なる面積の方が、上側のＧの画素（ｈ，ｖ−１）および下側のＧの画素（ｈ，ｖ＋１）と太枠で示した境界線とが重なる面積よりも大きくなる。したがって、３０°の境界線推定方向では、左方向の重みを決める重み係数“ｓｃａｌｅ＿ｗ”と右側の重みを決める“ｓｃａｌｅ＿ｅ”の配分を、上側の重みを決める“ｓｃａｌｅ＿ｎ”と下側の重みを決める“ｓｃａｌｅ＿ｓ”よりも多くする必要がある。
【０１５３】
ここで、重み係数“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”の配分を決める係数を“ｓｃｌ０”とし、“ｓｃａｌｅ＿ｗ”と“ｓｃａｌｅ＿ｅ”の配分を決める係数を“ｓｃｌ１”とする。“ｓｃｌ０”と“ｓｃｌ１”とを、以下の式を満たす範囲の任意の値に設定することで、“ｓｃａｌｅ＿ｗ”と“ｓｃａｌｅ＿ｅ”の配分を、“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”の配分より多くすることができる。
ｓｃｌ０＋ｓｃｌ１＝０．５
ｓｃｌ０＜ｓｃｌ１
ｓｃｌ０＞０
ｓｃｌ１＞０
【０１５４】
図３１に示すように境界線の重心にずれがない場合は、ｓｃａｌｅ＿ｎ＝ｓｃａｌｅ＿ｓ＝ｓｃｌ０とし、ｓｃａｌｅ＿ｗ＝ｓｃａｌｅ＿ｅ＝ｓｃｌ１とする。境界線の重心がずれている場合は、そのずれ量に応じた係数“ｄｉｆ＿ｎ”，“ｄｉｆ＿ｓ”，“ｄｉｆ＿ｗ”，“ｄｉｆ＿ｅ”を用いることで、ずれ量に応じた補間値を算出できる。以下は、境界線の重心がずれている場合の各重み係数の算出式である。
【０１５５】
ｓｃａｌｅ＿ｎ＝ｓｃｌ０＋ｄｉｆ＿ｎ×ａｄｊ１…式３７
ｓｃａｌｅ＿ｓ＝ｓｃｌ０＋ｄｉｆ＿ｓ×ａｄｊ１…式３８
ｓｃａｌｅ＿ｗ＝ｓｃｌ１＋ｄｉｆ＿ｗ×ａｄｊ２…式３９
ｓｃａｌｅ＿ｅ＝ｓｃｌ１＋ｄｉｆ＿ｅ×ａｄｊ２…式４０
【０１５６】
上記式３７〜式４０における“ａｄｊ１”と“ａｄｊ２”は、調整用の係数であり、“ａｄｊ１”には、“ｄｉｆ＿ｎ”の絶対値と“ｄｉｆ＿ｓ”の絶対値に乗算されることで、“ａｄｊ１×ｄｉｆ＿ｎ”と“ａｄｊ１×ｄｉｆ＿ｓ”を常に“ｓｃｌ０”未満の値にできる値が設定される。“ａｄｊ２”には、“ｄｉｆ＿ｗ”の絶対値と“ｄｉｆ＿ｅ”の絶対値とに乗算されることで、“ａｄｊ２×ｄｉｆ＿ｗ”と“ａｄｊ２×ｄｉｆ＿ｅ”を常に“ｓｃｌ１”未満の値にできる値が設定される。“ｄｉｆ＿ｎ”，“ｄｉｆ＿ｓ”，“ｄｉｆ＿ｗ”，“ｄｉｆ＿ｅ”は、以下の式４１〜式４４で算出することができる。
【０１５７】
ｄｉｆ＿ｅ＝（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ））−ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ）））／（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ）））…式４１
ｄｉｆ＿ｗ＝−ｄｉｆ＿ｅ…式４２
ｄｉｆ＿ｎ＝（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２））−ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２）））／（ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２）））…式４３
ｄｉｆ＿ｓ＝−ｄｉｆ＿ｎ…式４４
【０１５８】
なお、図３１に示すように境界線の重心にずれがない場合は、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値の情報を、補間値ｇ（ｈ，ｖ）に反映させる、輝度補正を行ってもよい。この場合の計算式は、以下の式４５に示される。
【０１５９】
ｇ（ｈ，ｖ）＝ｓｃａｌｅ＿ｎ×Ｇ（ｈ，ｖ−１）＋ｓｃａｌｅ＿ｓ×Ｇ（ｈ，ｖ＋１）＋ｓｃａｌｅ＿ｗ×Ｇ（ｈ−１，ｖ）＋ｓｃａｌｅ＿ｅ×Ｇ（ｈ＋１，ｖ）＋ｓｃａｌｅ＿ｎ×（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ−２））×ｓｃｌｙ＋ｓｃａｌｅ＿ｓ×（Ｒ（ｈ，ｖ）−Ｒ（ｈ，ｖ＋２））×ｓｃｌｙ＋ｓｃａｌｅ＿ｗ×（Ｒ（ｈ，ｖ）−Ｒ（ｈ−２，ｖ））×ｓｃｌｙ＋ｓｃａｌｅ＿ｅ×（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ））×ｓｃｌｙ…式４５
ここでも、ｓｃｌｙは、補正項の効き目を調整する係数で、
ｓｃｌｙ≦１
【０１６０】
図３２は、境界線方向が１５０°である場合の例を示す図である。１５０°の境界線推定方向においても、補間に用いる画素の位置は、着目画素Ｐｉと隣接する上下左右のＧの画素であり、３０°の境界線推定方向における場合と同一となる。また、図３２に示すように、これらの各画素（ｈ，ｖ−１），（ｈ−１，ｖ），（ｈ，ｖ＋１），（ｈ＋１，ｖ）と境界線とが重なる部分の面積は、図３１に示した境界線方向が３０°の場合とほぼ同面積となる。したがって、境界線方向が１５０°と判定された場合にも、３０°の境界線方向と同一の計算式を用いて補間値を算出することができる。
【０１６１】
（３−３−６．６０°の境界線推定方向における補間値算出方法）
次に、６０°の境界線推定方向における補間値算出方法について、図３３を参照して説明する。６０°の境界線推定方向でも、図３３に示したように、着目画素Ｐｉと隣接する上下左右Ｇの画素の画素値Ｇ（ｈ，ｖ−１），Ｇ（ｈ−１，ｖ），（ｈ＋１，ｖ），Ｇ（ｈ，ｖ＋１）とを、補間値の算出に用いる。補間値ｇ（ｈ，ｖ）の算出は、３０°の境界線推定方向における補正値算出式と同じ、式３６を用いて算出することができる。
【０１６２】
重心のずれ量を示す“ｄｉｆ＿ｎ”，“ｄｉｆ＿ｓ”，“ｄｉｆ＿ｗ”，“ｄｉｆ＿ｅ”の算出方法も、３０°の境界線推定方向におけるものと同一となる。３０°の境界線推定方向における補間値算出方法と異なる点は、係数ｓｃｌ０と係数ｓｃｌ１の値の大小関係である。６０°の境界線推定方向においては、係数ｓｃｌ０と係数ｓｃｌ１の各値を、以下の式を満たすように設定する。
ｓｃｌ０＞ｓｃｌ１
【０１６３】
このように設定することで、式３６における“ｓｃａｌｅ＿ｎ”と“ｓｃａｌｅ＿ｓ”の配分を、“ｓｃａｌｅ＿ｗ”と“ｓｃａｌｅ＿ｅ”よりも多くすることができる。つまり、着目画素Ｐｉの右側のＧの画素値Ｇ（ｈ＋１，ｖ）と左側のＧの画素値Ｇ（ｈ−１，ｖ）に設定される重みよりも、上側のＧの画素値Ｇ（ｈ，ｖ−１）と下側のＧの画素値Ｇ（ｈ，ｖ＋１）に設定される重みの方を大きくすることができる。
【０１６４】
図３４は、境界線方向が１２０°である場合の例を示す図である。１２０°の境界線推定方向においても、補間に用いる画素の位置は、着目画素Ｐｉと隣接する上下左右のＧの画素であり、６０°の境界線推定方向における場合と同一となる。また、図３４に示すように、これらの各画素（ｈ，ｖ−１），（ｈ−１，ｖ），（ｈ，ｖ＋１），（ｈ＋１，ｖ）と境界線とが重なる部分の面積は、図３３に示した境界線方向が６０°の場合とほぼ同面積となる。したがって、境界線方向が１２０°と判定された場合にも、６０°の境界線方向と同一の計算式を用いて補間値を算出することができる。
【０１６５】
（３−３−７．いずれの境界線推定方向にも該当しない場合の補間値算出方法）
続いて、いずれの境界線推定方向にも該当しない場合の補間値算出方法について、図３５のフローチャートを参照して説明する。図３５のフローチャートは、図２３に示したフローチャートにおける結合子Ｊ４以降の処理を示したものである。図２３に示したフローチャートでは、境界線方向が第１グループと第２グループのいずれにも属さない場合に結合子Ｊ４に進む。
【０１６６】
図３５に示すフローチャートでは、着目画素Ｐｉに隣接する上下左右のＧの画素の画素値の平均値を、着目画素Ｐｉの補間値とする（ステップＳ５１）。つまり、上述した式２７を用いて補間値ｇ（ｈ，ｖ）を算出する。
【０１６７】
なお、境界線方向がいずれの境界線推定方向に該当しない場合にも、着目画素Ｐｉの画素値が、着目画素Ｐｉと最も近接した着目画素と同じ色成分を有する各画素の画素値と比較して極値である場合には、輝度補正を行うことができる。この場合は、上述した式２８を用いて補間値ｇ（ｈ，ｖ）を算出すればよい。
【０１６８】
［３−４．補間値算出部による色成分の補間処理の例］
次に、図３５の結合子Ｊ６以降の、補間値算出部５０３（図２参照）による色成分の補間処理の例について、図３６のフローチャートを参照して説明する。補間値算出部５０３では、上述した手法で補間値ｇを算出した後は、以下の手順で、他の色成分の補間処理を行う。この処理は、従来使用されている手法をそのまま用いる適用することができる。
【０１６９】
まず、ＲやＢがサンプリングされた位置にＧを補間する（ステップＳ６１）。すなわち、上述した各手法で得られた補間値ｇ（ｈ，ｖ）を、ＲやＢがサンプリングされた位置に補間する。次に、Ｒがサンプリングされた位置にＢの画素値を補間し（ステップＳ６２）、Ｂがサンプリングされた位置にＲの画素値を補間する（ステップＳ６３）。そして、Ｇがサンプリングされた位置にＲの画素値を補間し（ステップＳ６４）、Ｇがサンプリングされた位置にＢの画素値を補間する（ステップＳ６５）。
【０１７０】
ステップＳ６２のＲがサンプリングされた位置にＢの画素値を補間する処理について、図３７を参照して説明する。Ｒの位置へのＢの補間値算出では、まず、図３７に示す着目画素Ｐｉの左上（ｈ−１，ｖ−１）、右上（ｈ＋１，ｖ−１）、左下（ｈ−１，ｖ＋１）、右下の（ｈ＋１，ｖ＋１）の各位置におけるＢの画素値と、同位置で算出済みの補間値ｇとの差分平均値を求める。そして、算出された差分平均値に、補間値ｇを加算する。求める補間値を補間値ｂ（ｈ，ｖ）とすると、補間値ｂ（ｈ，ｖ）は以下の式４６を用いて求めることができる。
【０１７１】
ｂ（ｈ，ｖ）＝（Ｂ（ｈ−１，ｖ−１）−ｇ（ｈ−１，ｖ−１）＋Ｂ（ｈ＋１，ｖ−１）−ｇ（ｈ＋１，ｖ−１）＋Ｂ（ｈ−１，ｖ＋１）−ｇ（ｈ−１，ｖ＋１）＋Ｂ（ｈ＋１，ｖ＋１）−ｇ（ｈ＋１，ｖ＋１））／４＋ｇ（ｈ，ｖ）…式４６
【０１７２】
次に、ステップＳ６３の、Ｂがサンプリングされた位置にＲの画素値を補間する処理について、図３８を参照して説明する。Ｂの位置へのＲの補間値算出では、まず、図３８に示す着目画素Ｐｉの左上（ｈ−１，ｖ−１）、右上（ｈ＋１，ｖ−１）、左下（ｈ−１，ｖ＋１）、右下の（ｈ＋１，ｖ＋１）の各位置におけるＲの画素値と、同位置で算出済みの補間値ｇとの差分平均値を求める。そして、算出された差分平均値に、補間値ｇを加算する。求める補間値を補間値ｒ（ｈ，ｖ）とすると、補間値ｒ（ｈ，ｖ）は以下の式４７を用いて求めることができる。
【０１７３】
ｒ（ｈ，ｖ）＝（Ｒ（ｈ−１，ｖ−１）−ｇ（ｈ−１，ｖ−１）＋Ｒ（ｈ＋１，ｖ−１）−ｇ（ｈ＋１，ｖ−１）＋Ｒ（ｈ−１，ｖ＋１）−ｇ（ｈ−１，ｖ＋１）＋Ｒ（ｈ＋１，ｖ＋１）−ｇ（ｈ＋１，ｖ＋１））／４＋ｇ（ｈ，ｖ）…式４７
【０１７４】
次に、ステップＳ６４の、Ｇがサンプリングされた位置にＲの画素値を補間する処理について、図３９および図４０を参照して説明する。Ｇの位置へのＲの補間値算出では、まず、図３９に示す着目画素Ｐｉの上（ｈ，ｖ−１）、左（ｈ−１，ｖ）、右（ｈ＋１，ｖ）、下（ｈ，ｖ＋１）の各位置における、Ｒの画素値または式４７で算出された補間値ｒと、同位置で算出済みの補間値ｇとの差分平均値を求める。そして、算出された差分平均値に、補間値ｇを加算する。求める補間値を補間値ｒ′（ｈ，ｖ）とすると、補間値ｒ′（ｈ，ｖ）は以下の式４８を用いて求めることができる。式４８では、Ｒの画素値と式４７で算出された補間値ｒの表記を統一して、ｒと記述している。図３９に示すように、着目画素Ｐｉの左（ｈ−１，ｖ）、右（ｈ＋１，ｖ）に、Ｒの画素値がある場合は、r（ｈ−１，ｖ）=Ｒ（ｈ−１，ｖ）、r（ｈ＋１，ｖ）=Ｒ（ｈ＋１，ｖ）となる。図４０に示すように、Ｒの画素値が着目画素Ｐｉの上（ｈ，ｖ−１）、下（ｈ，ｖ＋１）にある場合は、r（ｈ，ｖ−１）=Ｒ（ｈ，ｖ−１）、r（ｈ，ｖ＋１）=Ｒ（ｈ，ｖ＋１）となる。
【０１７５】
ｒ′（ｈ，ｖ）＝（ｒ（ｈ，ｖ−１）−ｇ（ｈ，ｖ−１）＋ｒ（ｈ−１，ｖ）−ｇ（ｈ−１，ｖ）＋ｒ（ｈ＋１，ｖ）−ｇ（ｈ＋１，ｖ）＋ｒ（ｈ，ｖ＋１）−ｇ（ｈ，ｖ＋１））／４＋ｇ（ｈ，ｖ）…式４８
【０１７６】
次に、ステップＳ６５の、Ｇがサンプリングされた位置にＢの画素値を補間する処理について、同じく図３９および図４０を参照して説明する。Ｇの位置へのＢの補間値算出では、まず、図４０に示す着目画素Ｐｉの上（ｈ，ｖ−１）、左（ｈ−１，ｖ）、右（ｈ＋１，ｖ）、下（ｈ，ｖ＋１）の各位置における、Ｂの画素値または式４６で算出された補間値ｂと、同位置で算出済みの補間値ｇとの差分平均値を求める。そして、算出された差分平均値に、補間値ｇを加算する。求める補間値を補間値ｂ′（ｈ，ｖ）とすると、補間値ｂ′（ｈ，ｖ）は以下の式４９を用いて求めることができる。式４９では、Ｂの画素値と式４６で算出された補間値ｂの表記を統一して、ｂと記述している。図４０に示すように、着目画素Ｐｉの左（ｈ−１，ｖ）、右（ｈ＋１，ｖ）に、Ｂの画素値がある場合には、ｂ（ｈ−１，ｖ）＝Ｂ（ｈ−１，ｖ）、ｂ（ｈ＋１，ｖ）＝Ｂ（ｈ＋１，ｖ）となる。図３９のように、Ｂの画素値が着目画素Ｐｉの上（ｈ，ｖ−１）、下（ｈ，ｖ＋１）にある場合は、ｂ（ｈ，ｖ−１）＝Ｂ（ｈ，ｖ−１）、ｂ（ｈ，ｖ＋１）＝Ｂ（ｈ，ｖ＋１）となる。
【０１７７】
ｂ′（ｈ，ｖ）＝（ｂ（ｈ，ｖ−１）−ｇ（ｈ，ｖ−１）＋ｂ（ｈ−１，ｖ）−ｇ（ｈ−１，ｖ）＋ｂ（ｈ＋１，ｖ）−ｇ（ｈ＋１，ｖ）＋ｂ（ｈ，ｖ＋１）−ｇ（ｈ，ｖ＋１））／４＋ｇ（ｈ，ｖ）…式４９
【０１７８】
上述した実施の形態によれば、境界線推定方向のうち画素変化量の最も少ない第１の方向Ａ＿ａ１と、境界線推定方向と垂直な方向のうち画素変化量が最も大きい第２の方向Ａ＿ｃ１との情報を用いて、境界線方向の判定が行われる。そして、境界線が存在すると判定された境界線推定方向に応じた計算方法で補間値が算出され、その補間値を用いて補間が行われる。すなわち、斜め方向も含む様々な方向に境界線が存在する場合にも、それらの方向に応じた計算方法で算出された補間値によって補間処理が行われるため、境界線方向における偽色の発生を抑えることができる。
【０１７９】
また、上述した実施の形態によれば、第１の方向Ａ＿ａ１と第３の方向Ａ＿ｒ１とが、隣り合う第１グループの境界線推定方向であった場合に、第１の方向と第３の方向によって挟まれた位置にある第２グループの（第４の）境界線推定方向に境界線が存在すると判断される。第１の方向Ａ＿ａ１と第３の方向Ａ＿ｒ１とが、隣り合う第１グループの境界線推定方向となり得るのは、第１の方向Ａ＿ａ１と第３の方向Ａ＿ｒ１のいずれか一方が第１の境界線推定方向である０°または第２の境界線推定方向である９０°であり、他方が第３の境界線推定方向である４５°、１３５°である場合である。
【０１８０】
このように、第２グループの（第４の）境界線推定方向である３０°，６０°，１２０°，１５０°の各方向に境界線が存在する場合にも、それを検出することが可能となるため、これらの方向における偽色の発生を抑えることができる。
【０１８１】
また、第２グループの（第４の）境界線推定方向である３０°，６０°，１２０°，１５０°の各方向における境界線の検出を、画素変化量の算出を行わずにできるため、補間処理の計算量を少なく抑えることが可能となる。これにより、補間処理に要する時間が増大してしまうことを防ぐことができる。
【０１８２】
また、計算量を少なく抑えられるため回路規模も縮小することができ、補間処理部分の回路をＩＣ（Integrated Circuit）に搭載することも可能となる。さらに、ＩＣへの搭載だけでなく、コード量の制約が厳しいファームウェアやＧＰＧＰＵ（General Purpose Graphics Processing Unit）への実装も行えるようになる。
【０１８３】
また、上述した実施の形態によれば、境界線の重心が着目画素の中心からずれている場合にも、ずれ量に応じた補正係数を用いて補間値が算出されるため、境界線の重心のずれに起因して発生する偽色も抑制することができる。
【０１８４】
また、上述した実施の形態によれば、着目画素と周囲に近接する同色の画素値と比較して極値である場合に、着目画素と周囲に近接する同色の画素値の差に応じた補正値を用いて補間値が算出されるため、輝度に起因して発生する偽色も抑制することができる。
【０１８５】
＜４．各種変形例＞
【０１８６】
なお、上述した実施の形態で境界線方向の判別に用いた“ｄｉｆ＿ａｌｏｎｇ＿”や“ｄｉｆ＿ｃｒｏｓｓ＿”の算出に用いる、差分を求める画素の組数は一例であり、数を増やすことによって境界線方向の判別精度を上げるようにしてもよい。
【０１８７】
０°の境界線推定方向の画素変化量を例に挙げる。例えば、図４１に示すように、０°の境界線推定方向における画素変化量ｄｉｆ＿ａｌｏｎｇ＿０の算出に用いる画素の領域を、左は（ｈ−３）、右は（ｈ＋３）まで広げ、差分値を算出する組数を５に増やしてもよい。この場合の画素変化量ｄｉｆ＿ａｌｏｎｇ＿０は、以下の式５０を用いて算出できる。
【０１８８】
ｄｉｆ＿ａｌｏｎｇ＿０＝（ａｂｓ（Ｇ（ｈ−３，ｖ）−Ｇ（ｈ−１，ｖ））＋ａｂｓ（Ｒ（ｈ−２，ｖ）−Ｒ（ｈ，ｖ））＋ａｂｓ（Ｇ（ｈ−１，ｖ）−Ｇ（ｈ＋１，ｖ））＋ａｂｓ（Ｒ（ｈ，ｖ）−Ｒ（ｈ＋２，ｖ））＋ａｂｓ（Ｇ（ｈ＋１，ｖ）−Ｇ（ｈ＋３，ｖ）））／５…式５０
【０１８９】
０°の境界線推定方向に垂直な方向における画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０は、図４２に示すように、（ｖ−１）と（ｖ＋１）の差分値を、水平方向の（ｈ−２）の位置から（ｈ＋２）の位置までの５つの位置で算出する。この場合の画素変化量ｄｉｆ＿ｃｒｏｓｓ＿０は、以下の式５１を用いて算出できる。
【０１９０】
ｄｉｆ＿ｃｒｏｓｓ＿０＝（ａｂｓ（Ｇ（ｈ−２，ｖ−１）−Ｇ（ｈ−２，ｖ＋１））＋ａｂｓ（Ｂ（ｈ−１，ｖ−１）−Ｂ（ｈ−１，ｖ＋１））＋ａｂｓ（Ｇ（ｈ，ｖ−１）−Ｇ（ｈ，ｖ＋１））＋ａｂｓ（Ｂ（ｈ＋１，ｖ−１）−Ｂ（ｈ＋１，ｖ＋１））＋ａｂｓ（Ｇ（ｈ＋２，ｖ−１）−Ｇ（ｈ＋２，ｖ＋１）））／５…式５１
【０１９１】
また、上述した実施の形態では、各境界線推定方向で算出された画素変化量のうち、最小値を有する方向である第１の方向Ａ＿ａ１と、各境界線推定方向と垂直な方向で算出された画素変化量のうち、最大値を有する方向である第２の方向Ａ＿ｃ１と、Ａ＿ｃ１に垂直な第３の方向Ａ＿ｒ１を用いる例をあげた。しかし、これに限定されるものではなく、各境界線推定方向で算出された画素変化量のうち、最小値の次に小さい値を持つ方向と、境界線に垂直な方向の画素変化量のうち、最大値の次に大きい値を持つ方向も併せて参照するようにしてもよい。このようにすることで、境界線方向判別の精度をより向上させることができる。
【０１９２】
また、上述した実施の形態では、例えば図８Ａおよび図８Ｂに示した例のように、画素変化量を算出する各画素変化量算出領域Ａｒｃで重複する部分がある場合にも、各各画素変化量算出領域Ａｒｃで個別に画素変化量を算出していた。しかし、重複部分を考慮して予め必要最小限の差分計算だけ行って結果を保存しておき、保存した結果を、変化量の集計時に参照するようにしてもよい。
【０１９３】
また、上述した実施の形態では、本開示の画像処理装置を撮像装置に適用した例をあげたが、これに限定されるものではない。撮像装置で得られた画像信号を取り込んで画像処理を行う、イメージセンサを有さない画像処理装置等にも適用することができる。
【０１９４】
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種の機能を実行するためのプログラムをインストールしたコンピュータにより実行可能である。例えば汎用のパーソナルコンピュータ等に所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【０１９５】
また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記憶させた記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（又はＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【０１９６】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１９７】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行う。その処理によって上述した実施の形態例の機能が実現される場合も含まれる。
【０１９８】
なお、本開示は以下のような構成も取ることができる。
（１）第１の色成分を有する第１のカラーフィルタが市松状に配置され、前記第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、前記市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサから出力された画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、前記画素の配置方向における水平方向である第１の境界線推定方向と、前記画素の配置方向における垂直方向である第２の境界線推定方向と、前記第１の境界線推定方向と前記第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、前記第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出する画素変化量算出部と、
前記第１乃至第３の境界線推定方向で算出された各第１の画素変化量と、前記第１乃至第３の境界線推定方向と垂直な各方向で算出された各前記第２の画素変化量の情報とを用いて、前記境界線が存在する境界線方向を判定する境界線方向判定部と、
前記境界線方向判定部での判定結果に基づいて、前記各境界線方向に応じた補間値を算出する補間値算出部と、
前記補間値算出部で算出された前記補間値を用いて、前記第２の色成分を有する着目画素に前記第１の色成分を補間する補間処理部とを備えた画像処理装置。
（２）前記境界線方向判定部は、前記第１乃至第３の境界線推定方向のうち、前記第１の画素変化量の値が最も小さい方向を第１の方向とし、前記第１乃至第３の境界線推定方向のうち、前記第２の画素変化量の値が最も大きい方向を第２の方向とし、前記第１の方向と前記第２の方向との関係性に基づいて、前記境界線方向を判定する（１）に記載の画像処理装置。
（３）前記境界線方向判定部は、前記第１の方向と前記第２の方向とが異なる方向であった場合、第２の方向と直交する方向を第３の方向とし、前記第１の方向と前記第３の方向のうち、一方が前記第１の境界線推定方向または前記第２の境界線推定方向であり、他方が前記第３の境界線推定方向であり、かつ前記第１の方向と前記第３の方向とが隣り合っている場合には、前記境界線方向が、前記隣り合う第１の方向と前記第３の方向の間の、第４の境界線推定方向であると判定する（２）に記載の画像処理装置。
（４）前記境界線方向判定部は、前記第１の方向と前記第２の方向とが直交する関係である場合に、前記境界線の方向が、前記第１の境界線推定方向と前記第２の境界線推定方向と前記第３の境界線推定方向のいずれかに該当すると判定する（２）または（３）に記載の画像処理装置。
（５）前記補間値算出部は、前記境界線方向判定部によって、前記境界線方向が第３の境界線推定方向または前記第４の境界線推定方向であると判定された場合は、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と、前記着目画素の画素値とを比較し、前記着目画素の画素値が極値でない場合には、前記境界線が前記着目画素の中心からずれた位置を通っていると判断し、前記境界線の位置と前記着目画素の中心とのずれ量に応じた重み係数を用いた重み付け平均によって前記補間値を算出する（３）または（４）に記載の画像処理装置。
（６）前記補間値算出部は、前記境界線方向判定部によって、前記境界線の方向が前記第１乃至第４の境界線推定方向のいずれにも該当しない場合と判断された場合または、前記境界線方向判定部によって、前記境界線方向が第１の境界線推定方向または前記第２の境界線推定方向であると判定された場合または、前記境界線方向判定部によって、前記境界線方向が第３の境界線推定方向であると判定された場合であって、前記着目画素の画素値が、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と比較して最大値または最小値である場合には、前記着目画素に最も近接する周囲の各画素の画素値を平均することにより、前記補間値を算出する（３）〜（５）のいずれかに記載の画像処理装置。
（７）前記補間値算出部は、前記境界線方向判定部によって、前記境界線の方向が前記第１乃至第４の境界線推定方向のいずれにも該当しない場合と判断された場合または、前記境界線方向判定部によって、前記境界線方向が第１の境界線推定方向または前記第２の境界線推定方向であると判定された場合であって、前記着目画素の画素値が、前記境界線方向で前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と比較して最大値または最大値である場合または、前記境界線方向判定部によって、前記境界線方向が第３の境界線推定方向であると判定された場合であって、前記着目画素の画素値が、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値と比較して最大値または最小値である場合には、前記着目画素と最も近接した前記着目画素と同じ色成分を有する各画素の画素値差に応じた補間値を算出する（１）〜（６）のいずれかに記載の画像処理装置。
（８）前記第３の境界線推定方向は、前記第１の境界線推定方向を０°とした場合の４５°方向と１３５°方向よりなり、前記第４の境界線推定方向は、３０°方向、６０°方向、１２０°方向、１５０°方向よりなり、
前記補間値算出部は、前記３０°方向と前記１５０°方向とにおいて、同一の補間値算出方法を用い、前記６０°方向と前記１２０°方向とにおいて、同一の補間値算出方法を用いる（１）〜（７）のいずれかに記載の画像処理装置。
（９）第１の色成分を有する第１のカラーフィルタが市松状に配置され、前記第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、前記市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサから出力された画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、前記画素の配置方向における水平方向である第１の境界線推定方向と、前記画素の配置方向における垂直方向である第２の境界線推定方向と、前記第１の境界線推定方向と前記第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向における画素値の変化量である第１の画素変化量と、前記第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出することと、
前記算出された各第１の画素変化量と、前記第１乃至第３の境界線推定方向と垂直な各方向で算出された各前記第２の画素変化量の情報とを用いて、前記境界線が存在する境界線方向を判定することと、
前記判定結果に基づいて、前記各境界線方向に応じた補間値を算出することと、
前記算出された前記補間値を用いて、前記第２の色成分を有する着目画素に前記第１の色成分を補間することとを含む画像処理方法。
（１０）第１の色成分を有する第１のカラーフィルタが市松状に配置され、前記第１の色成分とは異なる第２の色成分を有する第２のカラーフィルタが、前記市松状の配置位置以外の位置に配置されてなるカラーフィルタを通過した光を光電変換して画素信号として出力するイメージセンサより出力された前記画素信号を用いて、隣接する画素間で画素値が大きく異なる境界線が存在すると推定される各境界線推定方向のうち、少なくとも、前記画素の配置方向における水平方向である第１の境界線推定方向と、前記画素の配置方向における垂直方向である第２の境界線推定方向と、前記第１の境界線推定方向と前記第２の境界線推定方向とが成す角度を略二分した線上を通る第３の境界線推定方向の各境界線推定方向における画素値の変化量である第１の画素変化量と、前記第１乃至第３の各境界線推定方向と垂直な各方向における画素値の変化量である第２の画素変化量とを算出することと、
前記算出された各第１の画素変化量と、前記第１乃至第３の境界線推定方向と垂直な各方向で算出された各前記第２の画素変化量の情報とを用いて、前記境界線が存在する境界線方向を判定することと、
前記判定結果に基づいて、前記各境界線方向に応じた補間値を算出することと、
前記算出された前記補間値を用いて、前記第２の色成分を有する着目画素に前記第１の色成分を補間することとをコンピュータに実行させるプログラム。
【符号の説明】
【０１９９】
１…撮像装置、１０…レンズ、２０…カラーフィルタ、３０…イメージセンサ、４０…アナログ・デジタル変換部、５０…色補間処理部、６０…信号処理部、５０１…画素変化量算出部、５０２…境界線方向判定部、５０３…補間値算出部、５０４…補間処理部、Ａｒ１，Ａｒ２…領域
【図１】
2013232829.tif 000003
【図２】
2013232829.tif 000004
【図３】
2013232829.tif 000005
【図４】
2013232829.tif 000006
【図５】
2013232829.tif 000007
【図６】
2013232829.tif 000008
【図７】
2013232829.tif 000009
【図８】
2013232829.tif 000010
【図９】
2013232829.tif 000011
【図１０】
2013232829.tif 000012
【図１１】
2013232829.tif 000013
【図１２】
2013232829.tif 000014
【図１３】
2013232829.tif 000015
【図１４】
2013232829.tif 000016
【図１５】
2013232829.tif 000017
【図１６】
2013232829.tif 000018
【図１７】
2013232829.tif 000019
【図１８】
2013232829.tif 000020
【図１９】
2013232829.tif 000021
【図２０】
2013232829.tif 000022
【図２２】
2013232829.tif 000023
【図２３】
2013232829.tif 000024
【図３５】
2013232829.tif 000025
【図３６】
2013232829.tif 000026
【図４１】
2013232829.tif 000027
【図４２】
2013232829.tif 000028
【図４３】
2013232829.tif 000029
【図２１】
2013232829.tif 000030
【図２４】
2013232829.tif 000031
【図２５】
2013232829.tif 000032
【図２６】
2013232829.tif 000033
【図２７】
2013232829.tif 000034
【図２８】
2013232829.tif 000035
【図２９】
2013232829.tif 000036
【図３０】
2013232829.tif 000037
【図３１】
2013232829.tif 000038
【図３２】
2013232829.tif 000039
【図３３】
2013232829.tif 000040
【図３４】
2013232829.tif 000041
【図３７】
2013232829.tif 000042
【図３８】
2013232829.tif 000043
【図３９】
2013232829.tif 000044
【図４０】
2013232829.tif 000045