(57)【要約】【課題】補間対象画素の近傍の領域における色成分値の変化の仕方に係わらず常に最適な補間方法で補間を行う。【解決手段】補間対象画素における第Ｋの色成分の低周波成分値を出力する不足色低周波成分計算手段（９ｂ）と、補間対象画素における第Ｋの色成分の増分値を出力する不足色増分計算手段（３０）と、第Ｊの色成分と第Ｋの色成分の間に正の相関が存在するのか、負の相関が存在するのか、相関がないのかを判別する相関判別手段（８）とを有する。【選択図】図１
2008042313.tif 000002
【特許請求の範囲】
【請求項１】
第１から第Ｎ（Ｎは２以上の自然数）のＮ種類の異なる色成分のうち、
第Ｊ（Ｊは１からＮのいずれか一つ）の色成分値を有する画素（以下、補間対象画素と呼ぶ）に対し、
第Ｋ（ＫはＪを除く１からＮのいずれか一つ）の色成分値を演算して、カラー画像を得る補間処理装置において、
前記補間対象画素における第Ｋの色成分の低周波成分値を出力する不足色低周波成分計算手段と、
前記補間対象画素における第Ｋの色成分の増分値を出力する不足色増分計算手段と、
第Ｊの色成分と第Ｋの色成分の間に正の相関が存在するのか、負の相関が存在するのか、相関がないのかを判別する相関判別手段と、
前記相関判別手段における判別の結果に基づいて、前記不足色増分計算手段で計算された前記第Ｋの色成分の増分値と、前記不足色低周波成分計算手段で計算された前記第Ｋの色成分の低周波成分値との演算を行う演算手段と
を有することを特徴とする補間処理装置。
【請求項２】
前記演算手段は、
前記相関判別手段により、前記第Ｊの色成分と前記第Ｋの色成分の間に正の相関が存在すると判断されたときは、前記第Ｋの色成分の増分値を、前記第Ｋの色成分の低周波成分値に加算し、
前記相関判別手段により、前記第Ｊの色成分と前記第Ｋの色成分の間に負の相関が存在すると判断されたときは、前記第Ｋの色成分の増分値を、前記第Ｋの色成分の低周波成分値から減算し、
前記相関判別手段により、前記第Ｊの色成分と前記第Ｋの色成分の間に相関がないと判断されたときは、前記第Ｋの色成分の低周波成分値に、前記第Ｋの色成分の増分値を加算も減算もせず出力する
ことを特徴とする請求項１に記載の補間処理装置。
【請求項３】
前記補間対象画素を中心とした少なくとも２つ以上の方向から、エッジの存在する方向を検出するエッジ検出手段をさらに有し、
前記エッジ検出手段の検出結果に応じて、
前記不足色低周波成分計算手段、前記不足色増分計算手段、及び前記相関判別手段で行われる計算が切り替えられる
ことを特徴とする請求項１に記載の補間処理装置。
【請求項４】
前記不足色低周波成分計算手段は、前記エッジ検出手段で検出されたエッジの方向に並んだ画素を用いて加重平均を計算することで、低周波成分を計算することを特徴とする請求項３に記載の補間処理装置。
【請求項５】
前記相関判別手段は、前記エッジ検出手段で、
エッジがないと判断した場合、水平方向にエッジが存在すると判断した場合、及び垂直方向にエッジが存在すると判断した場合には、前記第Ｋの色成分の高周波成分値の絶対値が所定の閾値より小さいときは、係数の値を０とし、前記第Ｋの色成分の高周波成分値の絶対値が前記所定の閾値以上であるときは、前記係数の値を１とし、
前記エッジ検出手段で、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合には、前記第Ｋの色成分の高周波成分値の絶対値が前記所定の閾値より小さいときは前記係数の値を１とし、前記第Ｋの色成分の高周波成分値の絶対値が前記所定の閾値以上であり、前記第Ｊの色成分の高周波成分値と前記第Ｋの色成分の高周波成分値の符号が異なるときは、前記係数の値を−１とし、前記第Ｋの色成分の高周波成分値が前記所定の閾値以上であり、前記第Ｊの色成分の高周波成分値と前記第Ｋの色成分の高周波成分値の符号が異ならないときは、前記係数の値を１とし、
前記演算手段は、
前記係数が１であれば、前記第Ｋの色成分の増分値を前記第Ｋの色成分の低周波成分値に加算し、
前記係数が−１であれば、前記第Ｋの色成分の増分値を前記第Ｋの色成分の低周波成分値から減算し、
前記係数が０であれば、前記第Ｋの色成分の低周波成分値に前記第Ｋの色成分の増分値を加算も減算もせずに、前記第Ｋの色成分の低周波成分値を補間処理結果として出力する
ことを特徴とする請求項３に記載の補間処理装置。
【請求項６】
前記不足色増分計算手段は、
前記補間対象画素における第Ｊの色成分の増分値を出力する既知色増分計算手段と、
前記補間対象画素における第Ｊの色成分の変化量に対する第Ｋの色成分の変化量の比を表す比率を出力する比率計算手段を有し、
前記第Ｋの色成分の増分値として、前記第Ｊの色成分の増分値に、前記比率を乗じた値を出力する
ことを特徴とする請求項１乃至５のいずれかに記載の補間処理装置。
【請求項７】
前記比率計算手段は、前記エッジ検出手段で検出されたエッジの方向に並んだ画素を用いて、前記第Ｊの色成分の変化量と前記第Ｋの色成分の変化量を計算することを特徴とする請求項６に記載の補間処理装置。
【請求項８】
前記既知色増分計算手段は、
前記補間対象画素における前記第Ｊの色成分の低周波成分値を計算する既知色低周波成分計算手段を有し、
前記第Ｊの色成分の増分値として、
前記補間対象画素における第Ｊの色成分値から、前記第Ｊの色成分の低周波成分値を引いた値を出力することを特徴とする
請求項６に記載の補間処理装置。
【請求項９】
前記相関判別手段は、
前記補間対象画素における前記第Ｊの色成分の高周波成分値を出力する既知色高周波成分計算手段と、
前記補間対象画素における前記第Ｋの色成分の高周波成分値を出力する不足色高周波成分計算手段とを有し、
前記第Ｊの色成分の高周波成分値と前記第Ｋの色成分の高周波成分値とに基づき相関を判別することを特徴とする
請求項１乃至８のいずれかに記載の補間処理装置。
【請求項１０】
前記相関判別手段は、
前記第Ｋの色成分の高周波成分値の絶対値があらかじめ定められた閾値より小さい（以下、「第１の条件」と言う）ときは、前記第Ｊの色成分と前記第Ｋの色成分の間に相関がないと判別することを特徴とする
請求項９に記載の補間処理装置。
【請求項１１】
前記相関判別手段は、前記第１の条件が満たされないときは、前記第Ｊの色成分と前記第Ｋの色成分の間に正の相関があると判別することを特徴とする請求項１０に記載の補間処理装置。
【請求項１２】
前記相関判別手段は、
前記第Ｊの色成分の高周波成分値の絶対値および前記第Ｋの色成分の高周波成分値の絶対値があらかじめ定められた閾値より大きく、かつ
前記第Ｊの色成分の高周波成分値および前記第Ｋの色成分の高周波成分値の符号が一致しない（以下、「第２の条件」と言う）とき、
前記第Ｊの色成分と前記第Ｋの色成分の間に負の相関があると判別することを特徴とする
請求項１０に記載の補間処理装置。
【請求項１３】
前記相関判別手段は、前記第１の条件および前記第２の条件が満たされないとき、第Ｊの色成分と第Ｋの色成分の間に正の相関があると判別することを特徴とする請求項１２に記載の補間処理装置。
【請求項１４】
第１から第Ｎ（Ｎは２以上の自然数）のＮ種類の異なる色成分のうち、
第Ｊ（Ｊは１からＮのいずれか一つ）の色成分値を有する画素（以下、補間対象画素と呼ぶ）に対し、
第Ｋ（ＫはＪを除く１からＮのいずれか一つ）の色成分値を演算して、カラー画像を得る補間処理方法において、
前記補間対象画素における第Ｋの色成分の低周波成分値を出力する不足色低周波成分計算ステップと、
前記補間対象画素における第Ｋの色成分の増分値を出力する不足色増分計算ステップと、
第Ｊの色成分と第Ｋの色成分の間に正の相関が存在するのか、負の相関が存在するのか、相関がないのかを判別する相関判別ステップと、
前記相関判別ステップにおける判別の結果に基づいて、前記不足色増分計算ステップで計算された前記第Ｋの色成分の増分値と、前記不足色低周波成分計算ステップで計算された前記第Ｋの色成分の低周波成分値との演算を行う演算ステップと
を有することを特徴とする補間処理方法。
【請求項１５】
前記演算ステップは、
前記相関判別ステップにより、前記第Ｊの色成分と前記第Ｋの色成分の間に正の相関が存在すると判断されたときは、前記第Ｋの色成分の増分値を、前記第Ｋの色成分の低周波成分値に加算し、
前記相関判別ステップにより、前記第Ｊの色成分と前記第Ｋの色成分の間に負の相関が存在すると判断されたときは、前記第Ｋの色成分の増分値を、前記第Ｋの色成分の低周波成分値から減算し、
前記相関判別ステップにより、前記第Ｊの色成分と前記第Ｋの色成分の間に相関がないと判断されたときは、前記第Ｋの色成分の低周波成分値に、前記第Ｋの色成分の増分値を加算も減算もせず出力する
ことを特徴とする請求項１４に記載の補間処理方法。
【請求項１６】
前記補間対象画素を中心とした少なくとも２つ以上の方向から、エッジの存在する方向を検出するエッジ検出ステップをさらに有し、
前記エッジ検出ステップの検出結果に応じて、
前記不足色低周波成分計算ステップ、前記不足色増分計算ステップ、及び前記相関判別ステップで行われる計算が切り替えられる
ことを特徴とする請求項１４に記載の補間処理方法。
【請求項１７】
前記不足色低周波成分計算ステップは、前記エッジ検出ステップで検出されたエッジの方向に並んだ画素を用いて加重平均を計算することで、低周波成分を計算することを特徴とする請求項１６に記載の補間処理方法。
【請求項１８】
前記相関判別ステップは、前記エッジ検出ステップで、エッジがないと判断した場合、水平方向にエッジが存在すると判断した場合、及び垂直方向にエッジが存在すると判断した場合には、前記第Ｋの色成分の高周波成分値の絶対値が所定の閾値より小さいときは、係数の値を０とし、前記第Ｋの色成分の高周波成分値の絶対値が前記所定の閾値以上であるときは、前記係数の値を１とし、
前記エッジ検出ステップで、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合には、前記第Ｋの色成分の高周波成分値の絶対値が前記所定の閾値より小さいときは前記係数の値を１とし、前記第Ｋの色成分の高周波成分値の絶対値が前記所定の閾値以上であり、前記第Ｊの色成分の高周波成分値と前記第Ｋの色成分の高周波成分値の符号が異なるときは、前記係数の値を−１とし、前記第Ｋの色成分の高周波成分値が前記所定の閾値以上であり、前記第Ｊの色成分の高周波成分値と前記第Ｋの色成分の高周波成分値の符号が異ならないときは、前記係数の値を１とし、
前記演算ステップは、
前記係数が１であれば、前記第Ｋの色成分の増分値を前記第Ｋの色成分の低周波成分値に加算し、
前記係数が−１であれば、前記第Ｋの色成分の増分値を前記第Ｋの色成分の低周波成分値から減算し、
前記係数が０であれば、前記第Ｋの色成分の低周波成分値に前記第Ｋの色成分の増分値を加算も減算もせずに、前記第Ｋの色成分の低周波成分値を補間処理結果として出力する
ことを特徴とする請求項１６に記載の補間処理方法。
【請求項１９】
前記不足色増分計算ステップは、
前記補間対象画素における第Ｊの色成分の増分値を出力する既知色増分計算ステップと、
前記補間対象画素における第Ｊの色成分の変化量に対する第Ｋの色成分の変化量の比を表す比率を出力する比率計算ステップを有し、
前記第Ｋの色成分の増分値として、前記第Ｊの色成分の増分値に、前記比率を乗じた値を出力する
ことを特徴とする請求項１４乃至１８のいずれかに記載の補間処理方法。
【請求項２０】
前記比率計算ステップは、前記エッジ検出ステップで検出されたエッジの方向に並んだ画素を用いて、前記第Ｊの色成分の変化量と前記第Ｋの色成分の変化量を計算することを特徴とする請求項１９に記載の補間処理方法。
【請求項２１】
前記既知色増分計算ステップは、
前記補間対象画素における前記第Ｊの色成分の低周波成分値を計算する既知色低周波成分計算ステップを有し、
前記第Ｊの色成分の増分値として、
前記補間対象画素における第Ｊの色成分値から、前記第Ｊの色成分の低周波成分値を引いた値を出力することを特徴とする
請求項１９に記載の補間処理方法。
【請求項２２】
前記相関判別ステップは、
前記補間対象画素における前記第Ｊの色成分の高周波成分値を出力する既知色高周波成分計算ステップと、
前記補間対象画素における前記第Ｋの色成分の高周波成分値を出力する不足色高周波成分計算ステップとを有し、
前記第Ｊの色成分の高周波成分値と前記第Ｋの色成分の高周波成分値とに基づき相関を判別することを特徴とする
請求項１４乃至２１のいずれかに記載の補間処理方法。
【請求項２３】
前記相関判別ステップは、
前記第Ｋの色成分の高周波成分値の絶対値があらかじめ定められた閾値より小さい（以下、「第１の条件」と言う）ときは、前記第Ｊの色成分と前記第Ｋの色成分の間に相関がないと判別することを特徴とする
請求項２２に記載の補間処理方法。
【請求項２４】
前記相関判別ステップは、前記第１の条件が満たされないときは、前記第Ｊの色成分と前記第Ｋの色成分の間に正の相関があると判別することを特徴とする請求項２３に記載の補間処理方法。
【請求項２５】
前記相関判別ステップは、
前記第Ｊの色成分の高周波成分値の絶対値および前記第Ｋの色成分の高周波成分値の絶対値があらかじめ定められた閾値より大きく、かつ
前記第Ｊの色成分の高周波成分値および前記第Ｋの色成分の高周波成分値の符号が一致しない（以下、「第２の条件」と言う）とき、
前記第Ｊの色成分と前記第Ｋの色成分の間に負の相関があると判別することを特徴とする
請求項２３に記載の補間処理方法。
【請求項２６】
前記相関判別ステップは、前記第１の条件および前記第２の条件が満たされないとき、第Ｊの色成分と第Ｋの色成分の間に正の相関があると判別することを特徴とする請求項２５に記載の補間処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間処理装置および補間処理方法に関するものである。
【背景技術】
【０００２】
従来の補間処理装置および補間処理方法では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタがベイヤ配列に従って配置されたイメージセンサを有する撮像装置において、各々の画素につき、Ｇ、ＢまたはＢ、ＲまたはＲ、Ｇの色成分値が不足しており、例えば下記特許文献１に示されるように、解像感を高めるために、色毎の局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。
【０００３】
【特許文献１】特開２００１−１９７５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この従来の方法は、補間対象画素の近傍の領域においてそれぞれの色成分値（例えばベイヤ配列におけるＲ成分値、Ｇ成分値、Ｂ成分値）の間に正の相関があると仮定している。そのため、色成分値の間に正の相関がない領域（例えばある色と別の色との境界など）で補間を適切に行うことができず、補間誤差が大きくなるという問題があった。
【０００５】
本発明は、補間対象画素の近傍の領域における色成分値の変化の仕方に係わらず常に最適な補間方法で補間を行うことのできる補間処理装置および補間処理方法を提供するものである。
【課題を解決するための手段】
【０００６】
本発明は
第１から第Ｎ（Ｎは２以上の自然数）のＮ種類の異なる色成分のうち、
第Ｊ（Ｊは１からＮのいずれか一つ）の色成分値を有する画素（以下、補間対象画素と呼ぶ）に対し、
第Ｋ（ＫはＪを除く１からＮのいずれか一つ）の色成分値を演算して、カラー画像を得る補間処理装置において、
前記補間対象画素における第Ｋの色成分の低周波成分値を出力する不足色低周波成分計算手段と、
前記補間対象画素における第Ｋの色成分の増分値を出力する不足色増分計算手段と、
第Ｊの色成分と第Ｋの色成分の間に正の相関が存在するのか、負の相関が存在するのか、相関がないのかを判別する相関判別手段と、
前記相関判別手段における判別の結果に基づいて、前記不足色増分計算手段で計算された前記第Ｋの色成分の増分値と、前記不足色低周波成分計算手段で計算された前記第Ｋの色成分の低周波成分値との演算を行う演算手段と
を有することを特徴とする補間処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、補間対象画素の近傍の領域における色成分値の変化の仕方に関わらず常に最適な補間方法で補間を行うことができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて本発明の実施の形態を説明する。
【０００９】
図１はこの本発明の実施の形態による補間処理装置を備えた撮像装置の構成を表すブロック図である。
【００１０】
レンズ１から入射した光は例えば固体撮像素子で構成されるイメージセンサ２の撮像面に結像する。イメージセンサ２から出力される撮像信号はＡ／Ｄ変換器３によりデジタル値に変換され、フレームメモリ４に記憶され、更に、補間処理回路５において色補間処理され、映像信号として出力される。
【００１１】
ここで、イメージセンサ２の撮像面は図２に示されるように２次元的に配列された複数の光電変換素子からなる。すなわち、各光電変換素子はベイヤ配列に従って、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類の色成分に対応したカラーフィルタのいずれかで覆われている。各光電変換素子は図１に示した撮像装置で撮像される画像の各画素に対応し、撮像面上で各光電変換素子の占める位置が各画素の位置に対応する。図２において横、縦はそれぞれ画像の水平方向（Ｈ）、垂直方向（Ｖ）に対応し、各画素は撮像面上に２次元的に配列されているので、各画素の位置はＨＶ座標平面（またはＨＶ平面）上の座標値で表すことができる。
【００１２】
すなわち、水平方向の位置を表す水平座標値（ｉ−２、ｉ−１、ｉ、ｉ＋１、ｉ＋２、ｉ＋３、…）および垂直方向の位置を表す垂直座標値（ｊ−２、ｊ−１、ｊ、ｊ＋１、ｊ＋２、ｊ＋３、…）を組み合わせた座標で各画素を表すことができる。例えば水平座標値がｉ、垂直座標値がｊの画素は（ｉ，ｊ）で表すことが出来る。
【００１３】
以下、図１を参照して動作を詳細に説明する。なお、以下の説明では、Ｒのカラーフィルタで覆われた光電変換素子に対応した画素をＲ画素、Ｇのカラーフィルタで覆われた光電変換素子に対応した画素をＧ画素、Ｂのカラーフィルタで覆われた光電変換素子に対応した画素をＢ画素と呼ぶ。
【００１４】
イメージセンサ２の各光電変換素子からはＲ、Ｇ、Ｂいずれかの色成分に対応したアナログ信号が出力される。言い換えると、Ｒのカラーフィルタで覆われた光電変換素子からは、Ｒに対応したアナログ信号が、Ｇのカラーフィルタで覆われた光電変換素子からは、Ｇに対応したアナログ信号が、Ｂのカラーフィルタで覆われた光電変換素子からは、Ｂに対応したアナログ信号が出力される。各光電変換素子から出力されたアナログ信号は、Ａ／Ｄ変換器３でデジタル値に変換される。各光電変換素子は各画素に対応するので、Ａ／Ｄ変換器３から出力されるデジタル値が各画素の色成分値に対応する。
【００１５】
Ａ／Ｄ変換器３から出力されるデジタル値は、各画素の持つ色成分値としてフレームメモリ４に書き込まれる。この際、各色成分値は各画素の撮像面上での位置、すなわちＨＶ座標平面上での位置に対応付けて書き込まれる。
【００１６】
ここで、光電変換素子の各々は、Ｒ、Ｇ、Ｂの３種類の色成分のいずれかの色成分に対応したカラーフィルタで覆われているため、各画素について、１種類の色成分値しか得られない。すなわち、Ｒ画素に対してはＲ成分値のみが得られ、Ｇ画素に対しいてはＧ成分値のみが得られ、Ｂ画素に対してはＢ成分値のみが得られる。カラー画像を得るためには各画素に対しＲ成分値、Ｇ成分値、Ｂ成分値の３種類が必要なので、Ｒ画素に関してはＲ成分値が既知であるのに対してＧ成分値、Ｂ成分値が未知であり、Ｇ画素に関してはＧ成分値が既知であるのに対してＢ成分値、Ｒ成分値が未知であり、Ｂ画素に関してはＢ成分値が既知であるのに対してＲ成分値、Ｇ成分値が未知である。補間処理回路５は各画素において未知である色成分の値を補間により求め、カラー画像を得るものである。
【００１７】
なお、以下の説明では各画素において色成分値が得られている色のことを既知色成分と呼び、色成分値が未知である色のことを不足色成分と呼ぶこともある。また既知色成分の色成分値を既知色成分値、不足色成分の色成分値を不足色成分値と呼ぶこともある。
【００１８】
フレームメモリ４に書き込まれた色成分値はデマルチプレクサ５により、Ｒ成分値、Ｇ成分値、Ｂ成分値ごとに２次元メモリ６ｒ、６ｇ、６ｂに分配され、書き込まれる。すなわちＲ成分値が２次元メモリ６ｒに、Ｇ成分値が２次元メモリ６ｇに、Ｂ成分値が２次元メモリ６ｂに書き込まれる。ここで、２次元メモリ６ｒ、６ｇ、６ｂの各々においても色成分値は各画素の撮像面上での位置、すなわちＨＶ座標平面上での位置に対応付けて書き込まれる。
【００１９】
すなわち、２次元メモリ６ｒにＲ成分値が書き込まれた様子は図３（Ａ）のように、２次元メモリ６ｇにＧ成分値が書き込まれた様子は図３（Ｂ）のように、２次元メモリ６ｂにＢ成分値が書き込まれた様子は図３（Ｃ）のように表すことができる。なお図３（Ａ）〜（Ｃ）を含め、フレームメモリの様子を表す図において、大文字のＲが記されている画素にはイメージセンサ２で得られたＲ成分値が、大文字のＧが記されている画素にはイメージセンサ２で得られたＧ成分値が、大文字のＢが記されている画素にはイメージセンサ２で得られたＢ成分値が書き込まれていることを表す。
【００２０】
なお、フレームメモリ４は、イメージセンサ２として、図２に示した各画素の色成分値が２行に１行ずつ読み出されるいわゆるインターレース読み出し方式の固体撮像素子を用いた場合に必要である。イメージセンサ２として、図２に示した各画素の色成分値が上から順次１行ずつ読み出されるいわゆるプログレッシブ読み出し方式の固体撮像素子を用いた場合には、イメージセンサ２から読み出される信号をそのままデマルチプレクサ６が振り分ければよく、フレームメモリ４は不要となる。
【００２１】
補間処理回路５内部で各画素に対する不足色成分値が補間されると、その色成分値もまた、各画素の位置に対応付けて２次元メモリ６ｒ、６ｇ、６ｂ内部に書き込まれる。そして全不足色成分値の補間が終了すると２次元メモリ６ｒ、６ｇ、６ｂに書き込まれた各色成分値が信号Ｓｏｕｔとして補間処理回路５外部に出力される。
【００２２】
以下、補間処理回路５の内部構成について説明する。補間処理回路５は、デマルチプレクサ６、２次元メモリ６ｒ、６ｇ、６ｂ、差分計算回路７ｈ、７ｖ、７ｐ、７ｍ、比較回路７ｃ、ローパスフィルタ回路（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ、ＬＰＦ）９ａ、９ｂ、ハイパスフィルタ回路（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ、ＨＰＦ）８ａ、８ｂ、係数決定回路１１、変化量計算回路１０ａ、１０ｂ、除算器１０ｃ、減算器１２、乗算器１３、１４、加算器１５からなる。
【００２３】
ここでデマルチプレクサ６、２次元メモリ６ｒ、６ｇ、６ｂの動作は既に述べた通りである。また、差分計算回路７ｈ、７ｖ、７ｐ、７ｍ、および比較回路７ｃによりエッジ検出回路７が構成され、ハイパスフィルタ回路８ａ、８ｂおよび係数決定回路１１により相関判別回路８が構成され、ローパスフィルタ回路９ａおよび減算器１２により既知色増分計算回路２０が構成され、変化量算出回路１０ａ、１０ｂおよび除算器１０ｃにより比率計算回路１０が構成され、比率計算回路１０および既知色増分計算回路２０により不足色増分計算回路３０が構成される。
なお、各構成要素の詳細動作については、補間処理回路５の動作、すなわち補間処理回路５内部で、各画素に対して不足色成分値を補間するために行われる計算の説明と合わせて後述する。
【００２４】
以下に補間処理回路５の動作、すなわち補間処理回路５内部で、各画素に対して不足色成分値を補間するために行われる計算について述べる。なお、以下の説明では、ＨＶ座標平面上の座標（ｉ，ｊ）の位置に存在する画素に対するＲ成分値をＲ（ｉ，ｊ）で、Ｇ成分値をＧ（ｉ，ｊ）で、Ｂ成分値をＢ（ｉ，ｊ）で、表す。
【００２５】
補間処理回路５は以下の順番で各画素に対する不足色成分値を補間する。
（１）  Ｒ画素に対するＧ成分値およびＢ画素に対するＧ成分値の補間
（２）  Ｇ画素に対するＲ成分値、Ｂ成分値の補間
（３）  Ｒ画素に対するＢ成分値およびＢ画素に対するＲ成分値の補間
【００２６】
まず、Ｒ画素に対するＧ成分値およびＢ画素に対するＧ成分値を補間する方法について説明する。説明は、Ｒ画素に対するＧ成分値を補間する方法から行う。
【００２７】
図４（Ａ）及び（Ｂ）は２次元メモリ６ｒ、６ｇにＲ成分値、Ｇ成分値が書き込まれている様子を、Ｒ画素を中心にして表した図である。以下にＨＶ平面上の座標（ｉ，ｊ）の位置に存在するＲ画素に対するＧ成分値Ｇ（ｉ，ｊ）を補間する方法を述べる。
【００２８】
なお、以下の説明では不足色成分値を補間する画素のことを補間対象画素と呼ぶこともある。
【００２９】
まず、差分計算回路７ｈが画像水平方向の差分を表す値ｄｈを、差分計算回路７ｖが画像垂直方向の差分を表す値ｄｖを、差分計算回路７ｐを、差分計算回路７ｐが画像右上がり斜め方向の差分を表す値ｄｐを、差分計算回路７ｍが画像左上がり斜め方向の差分を表す値ｄｍを計算する。ｄｈ、ｄｖ、ｄｐ、ｄｍは以下の式で計算される。
ｄｈ＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，ｊ）｜
ｄｖ＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋１）｜
ｄｐ＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ，ｊ−１）｜
＋｜Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ＋１，ｊ）｜
ｄｍ＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ，ｊ＋１）｜
＋｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ＋１，ｊ）｜
【００３０】
次に比較回路７ｃが、補間対象画素を中心にして、どの方向にエッジが存在するかを判断する。この処理は図５に示すフローに従って行われる。ここでエッジとは、カラー画像において色がある色から別の色へ変化する場所のことを表す。図６（Ａ）〜（Ｅ）に様々なエッジの例を表す。図６（Ａ）〜（Ｅ）において白色の部分とハッチングを施した部分では色が異なることを表す。図６（Ａ）はエッジが存在しない場合を表し、図６（Ｂ）は水平方向にエッジが存在する場合を表し、図６（Ｃ）は垂直方向にエッジが存在する場合を表し、図６（Ｄ）は右上がり斜め方向にエッジが存在する場合を表し、図６（Ｅ）は左上がり斜め方向にエッジが存在する場合を表す。以下にエッジの方向を判別する係数決定回路の詳細を示す。
【００３１】
まず、ステップＳＴ０１で、ｄｈおよびｄｖと閾値γ１を比較する。そしてｄｈおよびｄｖがともに閾値γ１より小さいとき、ステップＳＴ０２に進み、エッジは存在しないと判断する。それ以外の場合はステップＳＴ０３に進み、どの方向にエッジが存在するか判断する。まず、ステップＳＴ０３で、ｄｈとｄｖの差の絶対値を閾値σ１と比較する。そしてｄｈとｄｖの差の絶対値が閾値σ１より小さければステップＳＴ０４に進み、そうでなければステップＳＴ０７に進む。ステップＳＴ０４ではｄｐとｄｍを比較し、右上がり斜め方向にエッジが存在するのか左上がり斜め方向にエッジが存在するのかを判断する。すなわちｄｐがｄｍより小さかった場合はステップＳＴ０５に進み、右上がり斜め方向にエッジが存在すると判断し、そうでない場合、ステップＳＴ０６に進み、左上がり斜め方向にエッジが存在すると判断する。一方ステップＳＴ０７ではｄｈとｄｖを比較し、水平方向にエッジが存在するのか垂直方向にエッジが存在するのか判断する。すなわちｄｈがｄｖより小さかった場合、ステップＳＴ０８に進み、水平方向にエッジが存在すると判断し、そうでない場合、ステップＳＴ０９に進み、垂直方向にエッジが存在すると判断する。
【００３２】
なお、比較回路７ｃの判定結果は、ローパスフィルタ回路９ａ、９ｂ、変化量計算回路１０ａ、１０ｂおよび係数決定回路１１に出力される。
【００３３】
次に、ハイパスフィルタ回路８ａの動作を説明する。ハイパスフィルタ回路８ａは既知色成分Ｒの高周波成分値を計算する。なお、高周波成分値として以下の式で表される４種類の値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆを計算する。
【００３４】
Ｒｕｈｐｆ
＝｛−Ｒ（ｉ−２，ｊ−２）＋２Ｒ（ｉ，ｊ−２）−Ｒ（ｉ＋２，ｊ−２）｝／２
Ｒｂｈｐｆ
＝｛−Ｒ（ｉ−２，ｊ＋２）＋２Ｒ（ｉ，ｊ＋２）−Ｒ（ｉ＋２，ｊ＋２）｝／２
Ｒｌｈｐｆ
＝｛−Ｒ（ｉ−２，ｊ−２）＋２Ｒ（ｉ−２，ｊ）−Ｒ（ｉ−２，ｊ＋２）｝／２
Ｒｒｈｐｆ
＝｛−Ｒ（ｉ＋２，ｊ−２）＋２Ｒ（ｉ＋２，ｊ）−Ｒ（ｉ＋２，ｊ＋２）｝／２
【００３５】
次に、ハイパスフィルタ回路８ｂの動作を説明する。ハイパスフィルタ回路８ｂは不足色成分Ｇの高周波成分値を計算する。なお、高周波成分値として以下の式で表される４種類の値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆを計算する。
Ｇｕｈｐｆ
＝｛−Ｇ（ｉ−２，ｊ−１）＋２Ｇ（ｉ，ｊ−１）−Ｇ（ｉ＋２，ｊ−１）｝／２
Ｇｂｈｐｆ
＝｛−Ｇ（ｉ−２，ｊ＋１）＋２Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ＋２，ｊ＋１）｝／２
Ｇｌｈｐｆ
＝｛−Ｇ（ｉ−１，ｊ−２）＋２Ｇ（ｉ−１，ｊ）−Ｇ（ｉ−１，ｊ＋２）｝／２
Ｇｒｈｐｆ
＝｛−Ｇ（ｉ＋１，ｊ−２）＋２Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ＋２）｝／２
【００３６】
次に、ローパスフィルタ回路９ａの動作を説明する。ローパスフィルタ回路９ａは既知色成分Ｒの低周波成分値Ｒｌｐｆを計算する。ここでＲｌｐｆの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて（即ち、比較回路７ｃからの検出結果を示す信号ＥＤに応じて）切り換えられる。すなわち、エッジがないと判断した場合、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｒｌｐｆ
＝｛Ｒ（ｉ，ｊ−２）＋Ｒ（ｉ−２，ｊ）＋４Ｒ（ｉ，ｊ）
＋Ｒ（ｉ＋２，ｊ）＋Ｒ（ｉ，ｊ＋２）｝／８
水平方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｒｌｐｆ
＝｛Ｒ（ｉ−２，ｊ）＋２Ｒ（ｉ，ｊ）＋Ｒ（ｉ＋２，ｊ）｝／４
垂直方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｒｌｐｆ
＝｛Ｒ（ｉ，ｊ−２）＋２Ｒ（ｉ，ｊ）＋Ｒ（ｉ，ｊ＋２）｝／４
【００３７】
以上のように、比較回路７ｃで、エッジがないと判断されたとき、右上がり斜め方向にエッジが存在すると判断されたとき、及び左上がり斜め方向にエッジが存在すると判断されたときは、補間対象画素及び補間対象画素に対して水平及び垂直方向に並び、かつ補間対象画素の近傍に位置する（図示の例では、間に一つの他の画素をおいて隣接する）画素の（同じ色成分の）画素値を用いてＬＰＦ処理（平均又は加重平均を取る演算）を行うことにより、既知色成分の低周波成分値Ｒｌｐｆが計算される。
【００３８】
また、比較回路７ｃで、水平方向にエッジが存在すると判断されたときは、補間対象画素及び補間対象画素に対して水平方向に並び、かつ補間対象画素の近傍に位置する（図示の例では、間に一つの他の画素をおいて隣接する）画素の（同じ色成分の）画素値を用いてＬＰＦ処理（平均又は加重平均を取る演算）を行うことにより、既知色成分の低周波成分値Ｒｌｐｆが計算される。
【００３９】
また、比較回路７ｃで、垂直方向にエッジが存在すると判断されたときは、補間対象画素及び補間対象画素に対して垂直方向に並び、かつ補間対象画素の近傍に位置する（図示の例では、間に一つの他の画素をおいて隣接する）画素の（同じ色成分の）画素値を用いてＬＰＦ処理（平均又は加重平均を取る演算）を行うことにより、既知色成分の低周波成分値Ｒｌｐｆが計算される。
【００４０】
次に、ローパスフィルタ回路９ｂの動作を説明する。ローパスフィルタ回路９ｂは不足色成分Ｇの低周波成分値Ｇｌｐｆを計算する。ここでＧｌｐｆの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて（即ち、比較回路７ｃからの検出結果を示す信号ＥＤに応じて）切り換えられる。
具体的には、エッジがないと判断した場合、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＧｌｐｆが計算される。
＝｛Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ＋１）｝／４
水平方向にエッジが存在すると判断した場合、以下の式によりＧｌｐｆが計算される。
Ｇｌｐｆ
＝｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２
垂直方向にエッジが存在すると判断した場合、以下の式によりＧｌｐｆが計算される。
Ｇｌｐｆ
＝｛Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ−１）｝／２
【００４１】
以上のように、比較回路７ｃで、エッジがないと判断されたとき、右上がり斜め方向にエッジが存在すると判断されたとき、及び左上がり斜め方向にエッジが存在すると判断されたときは、補間対象画素及びその上下左右に並び、かつ間に他の画素をおくことなく隣接する画素の（同じ色成分の）信号を用いてＬＰＦ処理（平均又は加重平均を取る演算）を行うことにより良い分Ｇの低周波成分値Ｇｌｐｆが計算される。
【００４２】
また、比較回路７ｃで、水平方向にエッジが存在すると判断されたときは、補間対象画素に対して水平方向に並び、かつ間に他の画素をおくことなく隣接する画素の（同じ色成分の）信号を用いてＬＰＦ処理（平均又は加重平均を取る演算）を行うことにより不足色成分Ｇの低周波成分値Ｇｌｐｆが計算される。
【００４３】
また、比較回路７ｃで、垂直方向にエッジが存在すると判断されたときは、補間対象画素に対して垂直方向に並び、かつ間に他の画素をおくことなく隣接する画素の（同じ色成分の）信号を用いてＬＰＦ処理（平均又は加重平均を取る演算）を行うことにより、不足色成分Ｇの低周波成分値Ｇｌｐｆが計算される。
【００４４】
次に、変化量計算回路１０ａの動作を説明する。変化量計算回路１０ａは既知色成分Ｒの変化量Ｒｄｉｓｐを計算する。ここでＲｄｉｓｐの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて（即ち、比較回路７ｃからの検出結果を示す信号ＥＤに応じて）切り換えられる。すなわち、エッジが存在しないと判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ
＝１＋｛｜Ｒ（ｉ，ｊ−２）＋Ｒ（ｉ，ｊ＋２）｜＋｜Ｒ（ｉ−２，ｊ）−Ｒ（ｉ＋２，ｊ）｜｝／２
右上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ
＝１＋{｜（Ｒ（ｉ，ｊ−２）＋Ｒ（ｉ−２，ｊ））−（Ｒ（ｉ，ｊ＋２）＋Ｒ（ｉ＋２，ｊ））｜}／２
左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ
＝１＋{｜（Ｒ（ｉ，ｊ−２）＋Ｒ（ｉ＋２，ｊ））−（Ｒ（ｉ，ｊ＋２）＋Ｒ（ｉ−２，ｊ））｜}／２
水平方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ＝１＋{｜Ｒ（ｉ−２，ｊ）−Ｒ（ｉ＋２，ｊ）｜}／２
垂直方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ＝１＋{｜Ｒ（ｉ，ｊ−２）−Ｒ（ｉ，ｊ＋２）｜}／２
【００４５】
以上のように、比較回路７ｃで、エッジがないと判断されたときは、補間対象画素に対して水平方向に並び、かつ補間対象画素を中心として反対側に位置し、かつ補間対象画素の近傍に位置する（図示の例では、補間対象画素に隣接する）画素の画素値の差の絶対値と、補間対象画素に対して垂直方向に並び、かつ補間対象画素を中心として反対側に位置し、かつ補間対象画素の近傍に位置する（図示の例では、補間対象画素に隣接する）画素の画素値の差の絶対値との和に（後述する）相似比である「１／２」を掛けたものに、所定の定数、例えば１を加算したものを、既知色成分Ｒの変化量Ｒｄｉｓｐとして求める。
【００４６】
また、比較回路７ｃで、右上がり斜め方向にエッジが存在すると判断されたときは、補間対象画素を通る右上がり斜め方向の線に平行で、該補間対象画素を通る右上がり斜め方向の線よりも左上に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和と、補間対象画素を通る右上がり斜め方向の線に平行で、該補間対象画素を通る右上がり斜め方向の線よりも右下に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和との差の絶対値に相似比である「１／２」を掛けたものに、所定の定数、例えば１を加算したものを、既知色成分Ｒの変化量Ｒｄｉｓｐとして求める。
【００４７】
また、比較回路７ｃで、左上がり斜め方向にエッジが存在すると判断されたときは、補間対象画素を通る左上がり斜め方向の線に平行で、該補間対象画素を通る左上がり斜め方向の線よりも右上に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和と、補間対象画素を通る左上がり斜め方向の線に平行で、該補間対象画素を通る左上がり斜め方向の線よりも左下に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和との差の絶対値に相似比である「１／２」を掛けたものに、所定の定数、例えば１を加算したものを、既知色成分Ｒの変化量Ｒｄｉｓｐとして求める。
【００４８】
また、比較回路７ｃで、水平方向にエッジが存在すると判断されたときは、補間対象画素に対して水平方向に並び、かつ、補間対象画素の近傍に位置する（図示の例では間に一つの他の画素をおいて隣接する）画素の（同じ色成分の）画素値の差の絶対値に相似比である「１／２」を掛けたものに、所定の定数、例えば１を加算したものを、既知色成分Ｒの変化量Ｒｄｉｓｐとして求める。
【００４９】
また、垂直方向にエッジが存在すると判断されたときは、補間対象画素に対して垂直方向に並び、かつ補間対象画素の近傍に位置する（図示の例では間に一つの他の画素をおいて隣接する）画素の（同じ色成分の）画素値の差の絶対値に相似比である「１／２」を掛けたものに、所定の定数、例えば１を加算したものを、既知色成分Ｒの変化量Ｒｄｉｓｐとして求める。
【００５０】
ここで「相似比」は、補間対象画素から補間対象画素の近傍に位置し、変化量計算回路１０ａで変化量計算に用いられる画素（図示の例では、補間対処画素に間に一つ他の画素を置いて隣接する画素）までの距離に対する、補間対象画素から補間対象画素に近傍に位置し、後述の変化量計算回路１０ｂで変化量計算に用いられる不足色画素（図示の例では、補間対象画素に隣接する画素）までの距離の比であり、既知色幾何学図形に対する不足色幾何学図形の線形相似比とも呼ばれる。
【００５１】
次に、変化量計算回路１０ｂの動作を説明する。変化量計算回路１０ｂは不足色成分Ｇの変化量Ｇｄｉｓｐを計算する。ここでＧｄｉｓｐの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて（即ち、比較回路７ｃからの検出結果を示す信号ＥＤに応じて）切り換えられる。すなわち、エッジが存在しないと判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ
＝１＋｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋１）｜
＋｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，ｊ）｜
右上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ
＝１＋｜（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ））
−（Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ＋１，ｊ））｜
左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ
＝１＋｜（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ＋１，ｊ））
−（Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ−１，ｊ））｜
水平方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ＝１＋｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，ｊ）｜
垂直方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ＝１＋｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋１）｜
【００５２】
以上のように、比較回路７ｃで、エッジがないと判断されたときは、補間対象画素に対して水平方向に並び、かつ補間対象画素を中心として反対側に位置し、かつ補間対象画素の近傍に位置する（図示の例では、補間対象画素に隣接する）画素の（同じ色成分の）画素値の差の絶対値と、補間対象画素に対して垂直方向に並び、かつ補間対象画素を中心として反対側に位置し、かつ補間対象画素の近傍に位置する（図示の例では、補間対象画素に隣接する）画素の（同じ色成分の）画素値の差の絶対値との和に、所定の定数、例えば１を加算したものを、不足色成分Ｇの変化量Ｇｄｉｓｐとして求める。
【００５３】
また、比較回路７ｃで、右上がり斜め方向にエッジが存在すると判断されたときは、補間対象画素を通る右上がり斜め方向の線に平行で、該補間対象画素を通る右上がり斜め方向の線よりも左上に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和と、補間対象画素を通る右上がり斜め方向の線に平行で、該補間対象画素を通る右上がり斜め方向の線よりも右下に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和との差の絶対値に、所定の定数、例えば１を加算したものを、不足色成分Ｇの変化量Ｇｄｉｓｐとして求める。
【００５４】
また、比較回路７ｃで、左上がり斜め方向にエッジが存在すると判断されたときは、補間対象画素を通る左上がり斜め方向の線に平行で、該補間対象画素を通る左上がり斜め方向の線よりも右上に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和と、補間対象画素を通る左上がり斜め方向の線に平行で、該補間対象画素を通る左上がり斜め方向の線よりも左下に位置する線上に位置し、かつ補間対象画素の近傍に位置する画素の画素値の和との差の絶対値に、所定の定数、例えば１を加算したものを、不足色成分Ｇの変化量Ｇｄｉｓｐとして求める。
【００５５】
また、比較回路７ｃで、水平方向にエッジが存在すると判断されたときは、補間対象画素に対して水平方向に並び、かつ、補間対象画素の近傍に位置する（図示の例では、補間対象画素に隣接する）画素の（同じ色成分の）画素値の差の絶対値に、所定の定数、例えば１を加算したものを、不足色成分Ｇの変化量Ｇｄｉｓｐとして求める。
【００５６】
また、比較回路７ｃで、垂直方向にエッジが存在すると判断されたときは、補間対象画素に対して垂直方向に並び、かつ、補間対象画素の近傍に位置する（図示の例では、補間対象画素に隣接する）画素の（同じ色成分の）画素値の差の絶対値に、所定の定数、例えば１を加算したものを、不足色成分Ｇの変化量Ｇｄｉｓｐとして求める。
【００５７】
次に、除算器１０ｃの動作を説明する。除算器１０ｃはＧｄｉｓｐをＲｄｉｓｐで割った値を出力する。すなわち、除算器１０ｃの出力する値ｔは以下の計算式で表すことができる。
ｔ＝Ｇｄｉｓｐ／Ｒｄｉｓｐ
【００５８】
次に、係数決定回路１１の動作を説明する。係数決定回路１１はハイパスフィルタ回路８ａ、８ｂで計算された高周波成分値をもとに「１」、「０」、「−１」いずれかの値をとる係数ｓを出力する。なお、係数ｓの値は、比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて（即ち、比較回路７ｃからの検出結果を示す信号ＥＤに応じて）、図７または図８いずれかのフローに従って決定される。
比較回路７ｃで、エッジがないと判断した場合、水平方向にエッジが存在すると判断した場合、及び垂直方向にエッジが存在すると判断した場合には、図７のフローによる処理が行われ、比較回路７ｃで、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合には、図８のフローによる処理が行われる。
【００５９】
ここで図７のステップＳＴ１１及び図８のステップＳＴ２１の「条件１」、並びに図８のステップＳＴ２３の「条件２」は具体的には以下のように表される。
（条件１）：不足色成分の高周波成分値が所定の閾値より小さい、例えば０である。
（条件２）：既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なる。
【００６０】
すなわち、図７のフローに従う場合、まずステップＳＴ１１において、条件１が満たされるかどうか、即ち、不足色成分の高周波成分値が所定の閾値より小さい、例えば０であるかどうか判断する。そして不足色成分の高周波成分値が０であると判断した場合は、ステップＳＴ１２に進み、ｓの値を０にする。そうでない場合はステップＳＴ１３に進み、ｓの値を１にする。
【００６１】
また、図８のフローに従う場合、まずステップＳＴ２１において、条件１が満たされるかどうか、即ち、不足色成分の高周波成分値が所定の閾値より小さい、例えば０であるかどうか判断する。そして不足色成分の高周波成分値が０であると判断した場合は、ステップＳＴ２２に進み、ｓの値を０にする。そうでない場合、ステップＳＴ２３に進み、条件２が満たされるかどうか、即ち、既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なるかどうか判断する。そして符号が異なると判断した場合は、ステップＳＴ２４に進み、ｓの値を−１にする。そうでない場合はステップＳＴ２５に進み、ｓの値を１にする。
【００６２】
以下、比較回路７ｃの判断結果ごとに、係数決定回路１１の動作をさらに詳しく説明する。なお以降の数式において、βはあらかじめ定められた正の値をとる閾値を表す。
【００６３】
まず、比較回路７ｃでエッジがないと判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図７に示すフローに従って決定する。ここでステップＳＴ１１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆが以下の式（１Ａ）〜（１Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であり条件１が満たされると判断する。
｜Ｇｕｈｐｆ｜＜β    …（１Ａ）
｜Ｇｂｈｐｆ｜＜β    …（１Ｂ）
｜Ｇｌｈｐｆ｜＜β    …（１Ｃ）
｜Ｇｒｈｐｆ｜＜β    …（１Ｄ）
【００６４】
すなわち、上記の式（１Ａ）〜（１Ｄ）がすべて満たされるとき、ステップＳＴ１２に進み、ｓ＝０とする。それ以外の場合、ステップＳＴ１３に進み、ｓ＝１とする。
【００６５】
次に、比較回路７ｃで右上がり斜め方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図８に示すフローに従って決定する。ここでステップＳＴ２１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆが上記の式（１Ａ）〜（１Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であると判断する。
【００６６】
すなわち、上記の式（１Ａ）〜（１Ｄ）がすべて満たされるとき、ステップＳＴ２２に進み、ｓ＝０とする。それ以外の場合、ステップＳＴ２３に進む。ステップＳＴ２３では、高周波成分計算回路８ａが計算した、既知色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆおよび高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆが以下の条件（２Ａ）〜（２Ｄ）のいずれかを満たすとき、既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なり、条件２が満たされると判断する。
（２Ａ）  Ｇｕｈｐｆ＞β、かつＧｌｈｐｆ＞β、かつ
Ｒｕｈｐｆ＜−β、かつＲｌｈｐｆ＜−β
（２Ｂ）  Ｇｕｈｐｆ＜−β、かつＧｌｈｐｆ＜−β、かつ
Ｒｕｈｐｆ＞β、かつＲｌｈｐｆ＞β
（２Ｃ）  Ｇｂｈｐｆ＞β、かつＧｌｈｐｆ＞β、かつ
Ｒｂｈｐｆ＜−β、かつＲｒｈｐｆ＜−β
（２Ｄ）  Ｇｂｈｐｆ＜−β、かつＧｒｈｐｆ＜−β、かつ
Ｒｂｈｐｆ＞β、かつＲｒｈｐｆ＞β
【００６７】
すなわち、条件（２Ａ）〜（２Ｄ）のいずれかが満たされるとき、ステップＳＴ２４に進みｓ＝−１とし、それ以外のときｓ＝１とする。
【００６８】
次に、比較回路７ｃで左上がり斜め方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図８に示すフローに従って決定する。ここでステップＳＴ２１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆが上記の式（１Ａ）〜（１Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であると判断する。
【００６９】
すなわち、上記の式（１Ａ）〜（１Ｄ）が満たされるとき、ステップＳＴ２２に進み、ｓ＝０とする。それ以外の場合、ステップＳＴ２３に進む。ステップＳＴ２３では、高周波成分計算回路８ａが計算した、既知色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆおよび高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆが以下の条件（３Ａ）〜（３Ｄ）のいずれかを満たすとき、既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なり、条件２が満たされると判断する。
（３Ａ）  Ｇｕｈｐｆ＞β、かつＧｒｈｐｆ＞β、かつ
Ｒｕｈｐｆ＜−β、かつＲｒｈｐｆ＜−β
（３Ｂ）  Ｇｕｈｐｆ＜−β、かつＧｒｈｐｆ＜−β、かつ
Ｒｕｈｐｆ＞β、かつＲｒｈｐｆ＞β
（３Ｃ）  Ｇｂｈｐｆ＞β、かつＧｌｈｐｆ＞β、かつ
Ｒｂｈｐｆ＜−β、かつＲｌｈｐｆ＜−β
（３Ｄ）  Ｇｂｈｐｆ＜−β、かつＧｌｈｐｆ＜−β、かつ
Ｒｂｈｐｆ＞β、かつＲｌｈｐｆ＞β
【００７０】
すなわち、条件（３Ａ）〜（３Ｄ）のいずれかが満たされるとき、ステップＳＴ２４に進みｓ＝−１とし、それ以外のときｓ＝１とする。
【００７１】
なお、上記の例では、比較回路７ｃで右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合には（エッジが存在しないと判断した場合と同様に）、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆが式（１Ａ）〜（１Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であると判断しているが、比較回路７ｃで右上がり斜め方向にエッジが存在すると判断した場合には、式（１Ａ）及び式（１Ｃ）をともに満たすとき、又は式（１Ｂ）及び式（１Ｄ）をともに満たすときに、不足色成分の高周波成分値が０であると判断し、比較回路７ｃで左上がり斜め方向にエッジが存在すると判断した場合には、式（１Ａ）及び式（１Ｄ）をともに満たすとき、又は式（１Ｂ）及び式（１Ｃ）をともに満たすときに、不足色成分の高周波成分値が０であると判断しても良い。
【００７２】
次に、比較回路７ｃで水平方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図７に示すフローに従って決定する。ここでステップＳＴ１１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆが以下の条件（４）を満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
（４）  ｜Ｇｕｈｐｆ｜＜β、かつ｜Ｇｂｈｐｆ｜＜β
【００７３】
すなわち、上記の条件（４）が満たされるとき、ステップＳＴ１２に進み、ｓ＝０とする。それ以外の場合、ステップＳＴ１３に進み、ｓ＝１とする。
【００７４】
次に、比較回路７ｃで垂直方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図７に示すフローに従って決定する。ここでステップＳＴ１１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｇｌｈｐｆ、Ｇｒｈｐｆが以下の条件（５）を満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
（５）  ｜Ｇｌｈｐｆ｜＜β、かつ｜Ｇｒｈｐｆ｜＜β
【００７５】
すなわち、上記の条件（５）が満たされるとき、ステップＳＴ１２に進み、ｓ＝０とする。それ以外の場合、ステップＳＴ１３に進み、ｓ＝１とする。
【００７６】
以上のように、係数決定回路１１は、比較回路７ｃで、エッジがないと判断した場合、水平方向にエッジが存在すると判断した場合、及び垂直方向にエッジが存在すると判断した場合には、図７のフローに従って処理を行い、条件１が満たされるとき（即ち、不足色成分の高周波成分値が所定の閾値より小さい、例えば０であるとき）は、係数ｓの値を０とし、条件１が満たされないときは、係数ｓの値を１とする。
【００７７】
一方、比較回路７ｃで、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合には、図８のフローに従って処理を行い、条件１が満たされるときは、係数ｓの値を１とし、条件１が満たされず、条件２が満たされるとき（既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なるとき）は、係数ｓの値を−１とし、条件１も条件２も満たされないときは、係数ｓの値を１とする。
【００７８】
後述のように、係数ｓが１であれば、不足色増分ΔＫが不足色低周波成分Ｋｌｐｆに加算され、係数ｓが−１であれば、不足色増分ΔＫが不足色低周波成分Ｋｌｐｆから減算され、係数ｓが０であれば、不足色低周波成分Ｋｌｐｆに不足色増分ΔＫが加算も減算もされず、不足色低周波成分Ｋｌｐｆが補間処理結果として出力される。
【００７９】
以上が係数決定回路１１の動作である。
【００８０】
次に減算器１２の動作を説明する。減算器１２は以下の式で計算される値ΔＲを求める。
ΔＲ＝Ｒ（ｉ，ｊ）−Ｒｌｐｆ
【００８１】
次に乗算器１３、乗算器１４、加算器１５の動作を説明する。乗算器１３は減算器１２の出力値ΔＲに除算器１０ｃの出力値ｔを乗じた値を出力する。乗算器１４は乗算器１３の出力値に係数決定回路１１の出力値ｓを乗じた値を出力する。加算器１５はローパスフィルタ回路９ｂの出力値Ｇｌｐｆに乗算器１４の出力値を加算した値を出力する。
【００８２】
そして加算器１５の出力する値が補間対象画素のＧ成分値Ｇ（ｉ，ｊ）として２次元メモリ６ｇに書き込まれる。
【００８３】
言い換えると、補間処理回路５内部では以下の式に従って、Ｒ画素に対し不足色成分値Ｇ（ｉ，ｊ）を補間する。
Ｇ（ｉ，ｊ）＝Ｇｌｐｆ＋ｓ・ｔ・｛（Ｒ（ｉ，ｊ）−Ｒｌｐｆ｝
【００８４】
補間処理回路５内部では以上に述べた補間方法に従って、全てのＲ画素に対してＧ色成分値が補間される。
【００８５】
次に、Ｂ画素に対するＧ成分値を補間する方法について述べる。
【００８６】
図９（Ａ）及び（Ｂ）は２次元メモリ６ｂ、６ｇにＢ成分値、Ｇ成分値が書き込まれている様子を、Ｂ画素を中心にして表した図である。図４（Ａ）及び（Ｂ）に記されているＲ成分値をＢ成分値に置き換えれば図９（Ａ）及び（Ｂ）となることは明らかである。従ってＢ画素に対するＧ成分値を補間する方法は、Ｒ画素に対するＧ成分値を補間する方法と同様に扱うことができる。
【００８７】
言い換えれば、Ｂ画素に対するＧ成分を補間する方法はＲ画素におけるＧ成分を補間する方法と同様の文章で説明することができるので、詳細な説明は省略する。
【００８８】
以上の処理によりＲ画素に対するＧ成分値およびＢ画素に対するＧ成分値の補間が完了する。この時の２次元メモリ６ｒ、６ｇ、６ｂへの書き込みの様子を模式的に表すと図１０（Ａ）〜（Ｃ）のようになる。なお図１０（Ａ）〜（Ｃ）を含め、フレームメモリへの書き込みの様子を表す図において、小文字のｇが記されている画素には補間によって得られたＧ成分値が書き込まれていることを表す。また、以降の補間処理では補間によって得られたＧ成分値ｇも既知色成分として扱うことができる。
【００８９】
言い換えれば、Ｒ画素におけるＧ成分値およびＢ画素におけるＧ成分値も既知の色成分値として扱うことができる。
【００９０】
次に、Ｇ画素に対するＲ成分値、Ｂ成分値を補間する方法について述べる。
【００９１】
図２に示した画素配列において、Ｒ画素とＧ画素が水平方向に並ぶラインを偶数行、Ｇ画素とＢ画素が水平方向に並ぶラインを奇数行と定義する。偶数行のＧ画素を中心に図２の画素配列を見た場合と、奇数行のＧ画素を中心に図２の画素配列を見た場合、Ｒ画素とＢ画素の並び方は異なっている。従って、偶数行のＧ画素に対するＲ成分値、Ｂ成分値の補間と奇数行のＧ画素に対するＲ成分値、Ｂ成分値の補間も異なったものとなる。ここではまず、偶数行のＧ画素に対するＲ成分値、Ｂ成分値の補間について先に述べ、次に奇数行のＧ画素に対するＲ成分値、Ｂ成分値の補間について述べる。
【００９２】
偶数行のＧ画素に対するＲ成分値、Ｂ成分値の補間のうち、偶数行のＧ画素に対するＲ成分値の補間について述べる。
【００９３】
図１１（Ａ）〜（Ｃ）に偶数行のＧ画素を中心にして、２次元メモリ６ｒ、６ｇ、６ｂに各色成分値が書き込まれている様子を表す。なお、図１１（Ａ）が２次元メモリ６ｇを、図１１（Ｂ）が２次元メモリ６ｒを、図１１（Ｃ）が２次元メモリ６ｂの様子を表している。
【００９４】
以下に、図１１（Ａ）〜（Ｃ）に示されているＨＶ座標平面上の座標（ｉ，ｊ）の位置に存在するＧ画素に対するＲ成分値Ｒ（ｉ，ｊ）を補間する方法について述べる。
【００９５】
まず、差分計算回路７ｈ、７ｖ、７ｐ、７ｍ、比較回路７ｃの動作について説明する。これらの回路は特に動作を行わない。
【００９６】
次にハイパスフィルタ回路８ａ、８ｂおよび係数決定回路１１の動作について説明する。ハイパスフィルタ回路８ａ、８ｂは特に動作を行わず、係数決定回路１１は係数ｓの値として常に１を出力する。
【００９７】
次にローパスフィルタ回路９ａの動作について説明する。ローパスフィルタ回路９ａは既知色成分Ｇの低周波成分値Ｇｌｐｆを以下の式に従って計算する。
Ｇｌｐｆ＝{Ｇ（ｉ−１，ｊ）＋２Ｇ（ｉ，ｊ）＋Ｇ（ｉ＋１，ｊ）}／４
【００９８】
次にローパスフィルタ回路９ｂの動作について説明する。ローパスフィルタ回路９ｂは不足色成分Ｒの低周波成分値Ｒｌｐｆを以下の式に従って計算する。
Ｒｌｐｆ＝{Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）}／２
【００９９】
次に変化量計算回路１０ａ、１０ｂの動作について説明する。変化量計算回路１０ａは既知色成分Ｇの変化量Ｇｄｉｓｐとして常に１を出力する。また変化量計算回路１０ｂは不足色成分Ｒの変化量Ｒｄｉｓｐとして常に１を出力する。
【０１００】
次に除算器１０ｃの動作について説明する。除算器１０ｃはＲｄｉｓｐをＧｄｉｓｐで割った値を出力する。すなわち、除算器１０ｃの出力値ｔは以下の計算式で表すことができる。
ｔ＝Ｒｄｉｓｐ／Ｇｄｉｓｐ
【０１０１】
ここで、ＧｄｉｓｐおよびＲｄｉｓｐの値は常に１なのでｔの値は常に１となる。
【０１０２】
次に減算器１２の動作を説明する。減算器１２は以下の式で計算される値ΔＧを計算する。
ΔＧ＝Ｇ（ｉ，ｊ）−Ｇｌｐｆ
【０１０３】
次に乗算器１３、乗算器１４、加算器１５の動作を説明する。乗算器１３は減算器１２の出力値ΔＧに除算器１０ｃの出力値ｔを乗じた値を出力する。乗算器１４は乗算器１３の出力値に係数決定回路１１の出力値ｓを乗じた値を出力する。加算器１５はローパスフィルタ回路９ｂの出力値Ｒｌｐｆに乗算器１４の出力値を加算した値を出力する。
【０１０４】
そして加算器１５の出力する値が補間対象画素のＲ成分値Ｒ（ｉ，ｊ）として２次元メモリ６ｒに書き込まれる。
【０１０５】
言い換えると、補間処理回路５内部では以下の式に従って、Ｇ画素に対し不足色成分値Ｒ（ｉ，ｊ）を補間する。なお、以下の式において係数ｓおよび係数ｔの値は常に１をとる。
Ｒ（ｉ，ｊ）＝Ｒｌｐｆ＋ｓ・ｔ・（Ｇ（ｉ，ｊ）−Ｇｌｐｆ）
【０１０６】
補間処理回路５内部では以上に述べた補間方法に従って、補間対象画素に対し不足色成分値Ｒ（ｉ，ｊ）を補間する。
【０１０７】
次に偶数行のＧ画素に対するＢ成分値の補間、すなわち図１１（Ａ）〜（Ｃ）に示されているＨＶ座標平面上の座標（ｉ，ｊ）の位置に存在するＧ画素に対するＢ成分値Ｂ（ｉ，ｊ）を補間する方法について述べる。
【０１０８】
まず、差分計算回路７ｈ、７ｖ、７ｐ、７ｍ、比較回路７ｃの動作について説明する。これらの回路は特に動作を行わない。
【０１０９】
次にハイパスフィルタ回路８ａ、８ｂおよび係数決定回路１１の動作について説明する。ハイパスフィルタ回路８ａ、８ｂは特に動作を行わず、係数決定回路１１は係数ｓの値として常に１を出力する。
【０１１０】
次にローパスフィルタ回路９ａの動作について説明する。ローパスフィルタ回路９ａは既知色成分Ｇの低周波成分値Ｇｌｐｆを以下の式に従って計算する。
Ｇｌｐｆ＝{Ｇ（ｉ，ｊ−１）＋２Ｇ（ｉ，ｊ）＋Ｇ（ｉ，ｊ＋１）}／４
【０１１１】
次にローパスフィルタ回路９ｂの動作について説明する。ローパスフィルタ回路９ｂは不足色成分Ｂの低周波成分値Ｂｌｐｆを以下の式に従って計算する。
Ｂｌｐｆ＝{Ｂ（ｉ，ｊ−１）＋Ｂ（ｉ，ｊ＋１）}／２
【０１１２】
次に変化量計算回路１０ａ、１０ｂの動作について説明する。変化量計算回路１０ａは既知色成分Ｇの変化量Ｇｄｉｓｐとして常に１を出力する。また変化量計算回路１０ｂは不足色成分Ｂの変化量Ｂｄｉｓｐとして常に１を出力する。
【０１１３】
次に除算器１０ｃの動作について説明する。除算器１０ｃはＢｄｉｓｐをＧｄｉｓｐで割った値を出力する。すなわち、除算器１０ｃの出力値ｔは以下の計算式で表すことができる。
ｔ＝Ｂｄｉｓｐ／Ｇｄｉｓｐ
【０１１４】
ここで、Ｇｄｉｓｐ、Ｂｄｉｓｐの値は常に１なので、ｔの値も常に１となる。
【０１１５】
次に減算器１２の動作を説明する。減算器１２は以下の式で計算される値ΔＧを計算する。
ΔＧ＝Ｇ（ｉ，ｊ）−Ｇｌｐｆ
【０１１６】
次に乗算器１３、乗算器１４、加算器１５の動作を説明する。乗算器１３は減算器１２の出力値ΔＧに除算器１０ｃの出力値ｔを乗じた値を出力する。乗算器１４は乗算器１３の出力値に係数決定回路１１の出力値ｓを乗じた値を出力する。加算器１５はローパスフィルタ回路９ｂの出力値Ｂｌｐｆに乗算器１４の出力値を加算した値を出力する。
【０１１７】
そして加算器１５の出力する値が補間対象画素のＢ成分値Ｂ（ｉ，ｊ）として２次元メモリ６ｂに書き込まれる。
【０１１８】
言い換えると、補間処理回路５内部では以下の式に従って、Ｇ画素に対し不足色成分値Ｂ（ｉ，ｊ）を補間する。なお、以下の式において係数ｓおよび係数ｔの値は常に１をとる。
Ｂ（ｉ，ｊ）＝Ｂｌｐｆ＋ｓ・ｔ・（Ｇ（ｉ，ｊ）−Ｇｌｐｆ）
【０１１９】
補間処理回路５内部では以上に述べた補間方法に従って、Ｇ画素に対し不足色成分値Ｂ（ｉ，ｊ）を補間する。
【０１２０】
次に、奇数行のＧ画素に対するＲ成分値、Ｂ成分値を補間する方法について述べる。
【０１２１】
図１２（Ａ）〜（Ｃ）に奇数行のＧ画素を中心にして、２次元メモリ６ｒ、６ｇ、６ｂに各色成分値が書き込まれている様子を表す。なお、図１２（Ａ）が２次元メモリ６ｇを、図１２（Ｂ）が２次元メモリ６ｂを、図１２（Ｃ）が２次元メモリ６ｒの様子を表している。図１１（Ａ）〜（Ｃ）に記されているＲ成分値をＢ成分値に置き換え、Ｂ成分値をＲ成分値に置き換えれば図１２（Ａ）〜（Ｃ）となることは明らかである。従って奇数行のＧ画素に対するＲ成分値を補間する方法は、偶数行のＧ画素に対するＢ成分値を補間する方法と同様に扱うことができ、奇数行のＧ画素に対するＢ成分値を補間する方法は、偶数行のＧ画素に対するＲ成分値を補間する方法と同様に扱うことができる。
【０１２２】
言い換えれば、奇数行のＧ画素に対するＲ成分値を補間する方法は、偶数行のＧ画素に対するＢ成分値を補間する方法と同様の文章で説明することができるので、詳細な説明は省略する。また、奇数行のＧ画素に対するＢ成分値を補間する方法も、偶数行のＧ画素に対するＲ成分値を補間する方法と同様の文章で説明することができるので、詳細な説明は省略する。
【０１２３】
以上の処理によりＧ画素に対するＲ成分値、Ｂ成分値の補間が完了する。この時の２次元メモリ６ｒ、６ｇ、６ｂへの書き込みの様子を模式的に表すと図１３（Ａ）〜（Ｃ）のようになる。なお図１３（Ａ）〜（Ｃ）を含め、フレームメモリの様子を表す図において、小文字のｒ、ｂが記されている画素にはそれぞれ補間によって得られたＲ成分値、Ｂ成分値が書き込まれていることを表す。また、以降の処理では補間によって得られたＲ成分値、Ｂ成分値もまた、既知色成分として扱うことができる。
【０１２４】
言い換えれば、Ｇ画素におけるＲ成分値、Ｂ成分値も既知の色成分値として扱うことができる。
【０１２５】
最後にＢ画素に対するＲ成分値およびＲ画素に対するＢ成分値を補間する方法について説明する。説明はまず、Ｂ画素に対するＲ成分値を補間する方法から行う。
【０１２６】
図１４（Ａ）〜（Ｃ）は２次元メモリ６ｒ、６ｇ、６ｂにＲ成分値、Ｇ成分値、Ｂ成分値が書き込まれている様子を、Ｂ画素を中心に表した図である。図１４（Ａ）は２次元メモリ６ｂを表しており、図１４（Ｂ）は２次元メモリ６ｇを表しており、図１４（Ｃ）は２次元メモリ６ｒを表している。以下に図１４（Ａ）〜（Ｃ）に示されているＨＶ座標平面上の座標（ｉ，ｊ）の位置に存在するＢ画素に対するＲ成分値Ｒ（ｉ，ｊ）を補間する方法を述べる。
【０１２７】
まず、差分計算回路７ｈが画像水平方向の差分を表すｄｈ、差分計算回路７ｖが画像垂直方向の差分を表すｄｖ、差分計算回路７ｐが画像右上がり斜め方向の差分を表すｄｐ、差分計算回路７ｍが画像左上がり斜め方向の差分を表すｄｍを計算する。なお、ｄｈ、ｄｖ、ｄｐ、ｄｍは以下の式で計算される。
ｄｈ＝｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，ｊ）｜
ｄｖ＝｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋１）｜
ｄｐ
＝{｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ−１，ｊ）｜
＋｜Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ＋１，ｊ）｜}／２
ｄｍ
＝{｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ＋１，ｊ）｜
＋｜Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ−１，ｊ）｜}／２
【０１２８】
次に比較回路７ｃが、補間対象画素を中心にして、どの方向にエッジが存在するかを判断する。具体的にはｄｈ、ｄｖ、ｄｐ、ｄｍの値をもとに図１５のフローに従ってエッジの存在する方向を決定する。以下にその手順を示す。
【０１２９】
まず、ステップＳＴ３１で、ｄｈおよびｄｖと閾値γ２を比較する。そしてｄｈおよびｄｖがともに閾値γ２より小さいとき、ステップＳＴ３２に進み、エッジは存在しないと判断する。それ以外の場合はステップＳＴ３３に進み、ｄｈとｄｖの差の絶対値を閾値σ２と比較する。そしてｄｈとｄｖの差の絶対値が閾値σ２より小さければステップＳＴ３４に進み、そうでなければステップＳＴ３７に進む。ステップＳＴ３４ではｄｐとｄｍを比較し、右上がり斜め方向にエッジが存在するのか左上がり斜め方向にエッジが存在するのかを判断する。すなわちｄｐがｄｍより小さかった場合はステップＳＴ３５に進み、右上がり斜め方向にエッジが存在すると判断し、そうでない場合、ステップＳＴ３６に進み、左上がり斜め方向にエッジが存在すると判断する。一方ステップＳＴ３７ではｄｈとｄｖを比較し、水平方向にエッジが存在するのか垂直方向にエッジが存在するのかを判断する。すなわちｄｈがｄｖより小さかった場合、ステップＳＴ３８に進み、水平方向にエッジが存在すると判断し、そうでない場合、ステップＳＴ３９に進み、垂直方向にエッジが存在すると判断する。
【０１３０】
次に、ハイパスフィルタ回路８ａの動作を説明する。ハイパスフィルタ回路８ａは既知色成分Ｇの高周波成分値を計算する。なお、高周波成分値として以下の式で表される４種類の値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆを計算する。
Ｇｕｈｐｆ
＝{−Ｇ（ｉ−１，ｊ−１）＋２Ｇ（ｉ，ｊ−１）−Ｇ（ｉ＋１，ｊ−１）}／２
Ｇｂｈｐｆ
＝{−Ｇ（ｉ−１，ｊ＋１）＋２Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ＋１，ｊ＋１）}／２
Ｇｌｈｐｆ
＝{−Ｇ（ｉ−１，ｊ−１）＋２Ｇ（ｉ−１，ｊ）−Ｇ（ｉ−１，ｊ＋１）}／２
Ｇｒｈｐｆ
＝{−Ｇ（ｉ＋１，ｊ−１）＋２Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ＋１）}／２
【０１３１】
次に、ハイパスフィルタ回路８ｂの動作を説明する。ハイパスフィルタ回路８ｂは不足色成分Ｒの高周波成分値を計算する。なお、高周波成分値として以下の式で表される４種類の値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆを計算する。
Ｒｕｈｐｆ
＝{−Ｒ（ｉ−１，ｊ−１）＋２Ｒ（ｉ，ｊ−１）−Ｒ（ｉ＋１，ｊ−１）}／２
Ｒｂｈｐｆ
＝{−Ｒ（ｉ−１，ｊ＋１）＋２Ｒ（ｉ，ｊ＋１）−Ｒ（ｉ＋１，ｊ＋１）}／２
Ｒｌｈｐｆ
＝{−Ｒ（ｉ−１，ｊ−１）＋２Ｒ（ｉ−１，ｊ）−Ｒ（ｉ−１，ｊ＋１）}／２
Ｒｒｈｐｆ
＝{−Ｒ（ｉ＋１，ｊ−１）＋２Ｒ（ｉ＋１，ｊ）−Ｒ（ｉ＋１，ｊ＋１）}／２
【０１３２】
次に、ローパスフィルタ回路９ａの動作を説明する。ローパスフィルタ回路９ａは既知色成分Ｇの低周波成分値Ｇｌｐｆを計算する。ここでＧｌｐｆの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて切り換えられる。すなわち、エッジがないと判断した場合、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＧｌｐｆが計算される。
Ｇｌｐｆ
＝{Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ）＋４Ｇ（ｉ，ｊ）
＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ＋１）}／８
水平方向にエッジが存在すると判断した場合、以下の式によりＧｌｐｆが計算される。
Ｇｌｐｆ＝{Ｇ（ｉ−１，ｊ）＋２Ｇ（ｉ，ｊ）＋Ｇ（ｉ＋１，ｊ）}／４
垂直方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｇｌｐｆ＝{Ｇ（ｉ，ｊ−１）＋２Ｇ（ｉ，ｊ）＋Ｇ（ｉ，ｊ＋１）}／４
【０１３３】
次に、ローパスフィルタ回路９ｂの動作を説明する。ローパスフィルタ回路９ｂは不足色成分Ｒの低周波成分値Ｒｌｐｆを計算する。ここでＲｌｐｆの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて切り換えられる。すなわち、エッジがないと判断した場合、右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｒｌｐｆ
＝{Ｒ（ｊ−１，ｉ）＋Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）＋Ｒ（ｊ＋１，ｉ）}／４
水平方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｒｌｐｆ＝{Ｒ（ｉ−１，ｊ）＋Ｒ（ｉ＋１，ｊ）}／２
垂直方向にエッジが存在すると判断した場合、以下の式によりＲｌｐｆが計算される。
Ｒｌｐｆ＝{Ｒ（ｉ，ｊ−１）＋Ｒ（ｉ，ｊ＋１）}／２
【０１３４】
次に、変化量計算回路１０ａの動作を説明する。変化量計算回路１０ａは既知色成分Ｇの変化量Ｇｄｉｓｐを計算する。ここでＧｄｉｓｐの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて切り換えられる。すなわち、エッジが存在しないと判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ
＝１＋｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋１）｜
＋｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，ｊ）｜
右上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ
＝１＋｜（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ））
−（Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ＋１，ｊ））｜
左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ
＝１＋｜（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ＋１，ｊ））
−（Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ−１，ｊ））｜
水平方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ＝１＋｜Ｇ（ｉ−１，ｊ）−Ｇ（ｉ＋１，ｊ）｜
垂直方向にエッジが存在すると判断した場合、以下の式によりＧｄｉｓｐが計算される。
Ｇｄｉｓｐ＝１＋｜Ｇ（ｉ，ｊ−１）−Ｇ（ｉ，ｊ＋１）｜
【０１３５】
次に、変化量計算回路１０ｂの動作を説明する。変化量計算回路１０ｂは不足色成分Ｒの変化量Ｒｄｉｓｐを計算する。ここでＲｄｉｓｐの計算式は比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて切り換えられる。すなわち、エッジが存在しないと判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ
＝１＋｜Ｒ（ｉ，ｊ−１）−Ｒ（ｉ，ｊ＋１）｜
＋｜Ｒ（ｉ−１，ｊ）−Ｒ（ｉ＋１，ｊ）｜
右上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ
＝１＋｜（Ｒ（ｉ，ｊ−１）＋Ｒ（ｉ−１，ｊ））
−（Ｒ（ｉ，ｊ＋１）＋Ｒ（ｉ＋１，ｊ））｜
左上がり斜め方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ
＝１＋｜（Ｒ（ｉ，ｊ−１）＋Ｒ（ｉ＋１，ｊ））
−（Ｒ（ｉ，ｊ＋１）＋Ｒ（ｉ−１，ｊ））｜
水平方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ＝１＋｜Ｒ（ｉ−１，ｊ）−Ｒ（ｉ＋１，ｊ）｜
垂直方向にエッジが存在すると判断した場合、以下の式によりＲｄｉｓｐが計算される。
Ｒｄｉｓｐ＝１＋｜Ｒ（ｉ，ｊ−１）−Ｒ（ｉ，ｊ＋１）｜
【０１３６】
次に、除算器１０ｃの動作を説明する。除算器１０ｃはＲｄｉｓｐをＧｄｉｓｐで割った値を出力する。すなわち、除算器１０ｃの出力する値は以下の計算式で表すことができる。
ｔ＝Ｒｄｉｓｐ／Ｇｄｉｓｐ
【０１３７】
次に、係数決定回路１１の動作を説明する。係数決定回路１１はハイパスフィルタ回路８ａ、８ｂで計算された高周波成分値をもとに「１」、「０」、「−１」のいずれかの値をとる係数ｓを出力する。なお、係数ｓの値は、比較回路７ｃでどの方向にエッジが存在すると判断したかに応じて、図７または図８いずれかのフローに従って決定される。
【０１３８】
まず、比較回路７ｃでエッジがないと判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図７に示すフローに従って決定する。ここでステップＳＴ１１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆが以下の式（６Ａ）〜（６Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
｜Ｒｕｈｐｆ｜＜β    …（６Ａ）
｜Ｒｂｈｐｆ｜＜β    …（６Ｂ）
｜Ｒｌｈｐｆ｜＜β    …（６Ｃ）
｜Ｒｒｈｐｆ｜＜β    …（６Ｄ）
【０１３９】
すなわち、上記の式（６Ａ）〜（６Ｄ）がすべて満たされるとき、ステップＳＴ１２に進み、ｓ＝０とし、そうでないときステップＳＴ１３に進み、ｓ＝１とする。
【０１４０】
次に、比較回路７ｃで右上がり斜め方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図８に示すフローに従って決定する。ここでステップＳＴ２１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆが上記の式（６Ａ）〜（６Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
【０１４１】
すなわち、上記の条件が満たされるとき、ステップＳＴ２２に進み、ｓ＝０とする。また、それ以外のとき、ステップＳＴ２３に進む。ステップＳＴ２３では、高周波成分計算回路８ａが計算した、既知色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆおよび高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆが以下の条件（７Ａ）〜（７Ｄ）のいずれかを満たすとき、既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なり、条件２が満たされると判断する。
（７Ａ）  Ｒｕｈｐｆ＞βかつＲｌｈｐｆ＞βかつ
Ｇｕｈｐｆ＜−βかつＧｌｈｐｆ＜−β
（７Ｂ）  Ｒｕｈｐｆ＜−βかつＲｌｈｐｆ＜−βかつ
Ｇｕｈｐｆ＞βかつＧｌｈｐｆ＞β
（７Ｃ）  Ｒｂｈｐｆ＞βかつＲｒｈｐｆ＞βかつ
Ｇｂｈｐｆ＜−βかつＧｒｈｐｆ＜−β
（７Ｄ）  Ｒｂｈｐｆ＜−βかつＲｒｈｐｆ＜−βかつ
Ｇｂｈｐｆ＞βかつＧｒｈｐｆ＞β
【０１４２】
すなわち、条件（７Ａ）〜（７Ｄ）のいずれかが満たされるとき、ステップＳＴ２４に進み、ｓ＝−１とし、それ以外のとき、ステップＳＴ２５に進み、ｓ＝１とする。
【０１４３】
次に、比較回路７ｃで左上がり斜め方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図８に示すフローに従って決定するここでステップＳＴ２１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆが上記の式（６Ａ）〜（６Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
【０１４４】
すなわち、上記の条件が満たされるとき、ステップＳＴ２２に進み、ｓ＝０とする。また、それ以外のとき、ステップＳＴ２３に進む。ステップＳＴ２３では、高周波成分計算回路８ａが計算した、既知色成分の高周波成分値Ｇｕｈｐｆ、Ｇｂｈｐｆ、Ｇｌｈｐｆ、Ｇｒｈｐｆおよび高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆが以下の条件（８Ａ）〜（８Ｄ）のいずれかを満たすとき、既知色成分の高周波成分値と不足色成分の高周波成分値の符号が異なリ、条件２が満たされると判断する。
（８Ａ）  Ｒｕｈｐｆ＞βかつＲｒｈｐｆ＞βかつ
Ｇｕｈｐｆ＜−βかつＧｒｈｐｆ＜−β
（８Ｂ）  Ｒｕｈｐｆ＜−βかつＲｒｈｐｆ＜−βかつ
Ｇｕｈｐｆ＞βかつＧｒｈｐｆ＞β
（８Ｃ）  Ｒｂｈｐｆ＞βかつＲｌｈｐｆ＞βかつ
Ｇｂｈｐｆ＜−βかつＧｌｈｐｆ＜−β
（８Ｄ）  Ｒｂｈｐｆ＜−βかつＲｌｈｐｆ＜−βかつ
Ｇｂｈｐｆ＞βかつＧｌｈｐｆ＞β
【０１４５】
すなわち、条件（６Ａ）〜（６Ｄ）のいずれかが満たされるとき、ステップＳＴ２４に進み、ｓ＝−１とし、それ以外のとき、ステップＳＴ２５に進み、ｓ＝１とする。
【０１４６】
なお、上記の例では、比較回路７ｃで右上がり斜め方向にエッジが存在すると判断した場合、及び左上がり斜め方向にエッジが存在すると判断した場合には（エッジが存在しないと判断した場合と同様に）、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆ、Ｒｌｈｐｆ、Ｒｒｈｐｆが式（６Ａ）〜（６Ｄ）をすべて満たすとき、不足色成分の高周波成分値が０であると判断しているが、比較回路７ｃで右上がり斜め方向にエッジが存在すると判断した場合には、式（６Ａ）及び式（６Ｃ）をともに満たすとき、又は式（６Ｂ）及び式（６Ｄ）をともに満たすときに、不足色成分の高周波成分値が０であると判断し、比較回路７ｃで左上がり斜め方向にエッジが存在すると判断した場合には、式（６Ａ）及び式（６Ｄ）をともに満たすとき、又は式（６Ｂ）及び式（６Ｃ）をともに満たすときに、不足色成分の高周波成分値が０であると判断しても良い。
【０１４７】
次に、比較回路７ｃで水平方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図７に示すフローに従って決定する。ここでステップＳＴ１１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｕｈｐｆ、Ｒｂｈｐｆが以下の条件（９）を満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
（９）  ｜Ｒｕｈｐｆ｜＜βかつ｜Ｒｂｈｐｆ｜＜β
【０１４８】
すなわち、上記の条件（９）が満たされるとき、ステップＳＴ１２に進み、ｓ＝０とし、それ以外のときステップＳＴ１３に進み、ｓ＝１とする。
【０１４９】
次に、比較回路７ｃで垂直方向にエッジが存在すると判断した場合について述べる。この場合、係数決定回路１１は、係数ｓの値を図７に示すフローに従って決定する。ここでステップＳＴ１１では、高周波成分計算回路８ｂが計算した、不足色成分の高周波成分値Ｒｌｈｐｆ、Ｒｒｈｐｆが以下の条件（１０）を満たすとき、不足色成分の高周波成分値が０であり、条件１が満たされると判断する。
（１０）  ｜Ｒｌｈｐｆ｜＜βかつ｜Ｒｒｈｐｆ｜＜β
【０１５０】
すなわち、上記の式（１０）が満たされるとき、ステップＳＴ１２に進み、ｓ＝０とし、それ以外のときステップＳＴ１３に進み、ｓ＝１とする。
【０１５１】
以上が係数決定回路１１の動作である。
【０１５２】
次に減算器１２の動作を説明する。減算器１２は以下の式で計算される値ΔＧを求める。
ΔＧ＝Ｇ（ｉ，ｊ）−Ｇｌｐｆ
【０１５３】
次に乗算器１３、乗算器１４、加算器１５の動作を説明する。乗算器１３は減算器１２の出力値ΔＧに除算器１０ｃの出力値ｔを乗じた値を出力する。乗算器１４は乗算器１３の出力値に係数決定回路１１の出力値ｓを乗じた値を出力する。加算器１５はローパスフィルタ回路９ｂの出力値Ｒｌｐｆに乗算器１４の出力値を加算した値を出力する。
【０１５４】
そして加算器１５の出力する値が補間対象画素のＲ成分値Ｒ（ｉ，ｊ）として２次元メモリ６ｒに書き込まれる。
【０１５５】
言い換えると、補間処理回路５内部では以下の式に従って、Ｂ画素に対し不足色成分値Ｒ（ｉ，ｊ）を補間する。
Ｒ（ｉ，ｊ）＝Ｒｌｐｆ＋ｓ・ｔ・（Ｇ（ｉ，ｊ）−Ｇｌｐｆ）
【０１５６】
補間処理回路５内部では以上に述べた補間方法に従って、全てのＢ画素に対するＲ色成分値が補間される。
【０１５７】
次に、Ｒ画素に対するＢ成分値を補間する方法について述べる。図１６（Ａ）〜（Ｃ）は２次元メモリ６ｒ、６ｇ、６ｂにＲ成分値、Ｇ成分値、Ｂ成分値が書き込まれている様子を、Ｒ画素を中心にして表した図である。図１６（Ａ）は２次元メモリ６ｒを表しており、図１６（Ｂ）は２次元メモリ６ｇを表しており、図１６（Ｃ）は２次元メモリ６ｂを表している。
【０１５８】
図１４（Ａ）〜（Ｃ）に記されているＲ成分値をＢ成分値に、Ｂ成分値をＲ成分値に置き換えれば図１６（Ａ）〜（Ｃ）となることは明らかである。従ってＲ画素に対するＢ成分値を補間する方法は、Ｂ画素に対するＲ成分値を補間する方法と同様に扱うことができる。
【０１５９】
言い換えれば、Ｒ画素に対するＢ成分値を補間する方法はＢ画素に対するＲ成分を補間する方法と同様の文章で説明することができるので、詳細な説明は省略する。
【０１６０】
以上の処理によりＢ画素に対するＲ成分値およびＲ画素に対するＢ成分値の補間が完了する。この時の２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を模式的に表すと図１７（Ａ）〜（Ｃ）のようになる。
【０１６１】
図１７（Ａ）〜（Ｃ）では全ての画素に対してＲ成分値、Ｇ成分値、Ｂ成分値が与えられている。すなわち、全ての不足色成分値の補間が終了したことになる。
【０１６２】
なお、ＨＶ平面上の座標（ｉ，ｊ）に存在する画素に関してＪを既知色成分、Ｋを不足色成分としたとき、本発明の実施の形態による補間処理装置で行われる補間処理は、以下の式で表すことができる。
Ｋ（ｉ，ｊ）＝Ｋｌｐｆ＋ｓ・ｔ（Ｊ（ｉ，ｊ）−Ｊｌｐｆ）
【０１６３】
ここでＫｌｐｆはローパスフィルタ回路９ｂで計算される既知色成分の低周波成分値であり、係数ｓは相関判別回路８における相関判別結果に応じて「１」、「０」、「−１」いずれかの値をとる係数であり、係数ｔは比率計算回路１０の出力値であり、Ｊ（ｉ，ｊ）−Ｊｌｐｆは既知色増分計算回路２０の出力値であり、ｔ（Ｊ（ｉ，ｊ）−Ｊｌｐｆ）は不足色増分計算回路３０の出力値である。
【０１６４】
本発明の実施の形態による補間処理装置の効果を以下に述べる。以下では説明を簡単にするため１次元方向に配列されたカラーフィルタを用いるが、カラーフィルタの配列が２次元平面上に配列された場合も同様の効果が得られることは明らかであろう。
【０１６５】
図１８（Ａ）〜（Ｃ）は、Ｊで表される色成分とＫで表される色成分からなるカラーフィルタおよびそのカラーフィルタから得られる色成分値を表す図である。すなわち、図１８（Ａ）〜（Ｃ）の横軸は画素の位置を表し、上部の「Ｊ」、「Ｋ」は、各画素の位置におけるカラーフィルタの色を表し、縦軸は色成分値の大きさを表し、「○」印は、各画素の色成分値を表す。また、各画素は横軸上の座標（ｉ−１、ｉ、ｉ＋１等）で表わされる。
【０１６６】
ここで、図１８（Ａ）はＪ成分とＫ成分の増減が一致する場合を表し、図１８（Ｂ）はＪ成分は変化するもののＫ成分はほとんど変化しない場合を表し、図１８（Ｃ）はＪ成分とＫ成分の増減が逆である場合を表す。
【０１６７】
以下、図１８（Ａ）に表されるように、異なる色成分間の増減が一致する場合、「正の相関がある」と言い、図１８（Ｂ）に表されるような、一方の色成分は増加または減少するものの、もう一方の色成分はほとんど変化しない場合、「相関がない」と言い、図１８（Ｃ）に表されるような、異なる色成分間の増減が逆である場合、「負の相関がある」と言う。以下、Ｊ画素（Ｊのカラーフィルタで覆われた光電変換素子に対応した画素）の位置にＫ成分を補間する場合を例に説明を行う。
【０１６８】
なお、以下の説明では座標ｉの位置にある画素に対するＪ成分値をＪ（ｉ）、Ｋ成分値をＫ（ｉ）で表す。
【０１６９】
図１９（Ａ）〜（Ｃ）において、従来技術による補間により、座標ｉ−２および座標ｉの位置にあるＪ画素に与えられるＫ成分値を「●」印で表す。従来技術による補間では、Ｊ成分とＫ成分の信号変化には相似の関係があると仮定して補間を行う。例えば座標ｉの位置にあるＪ画素（以下、補間対象画素と呼ぶ）に対するＫ成分値Ｋ（ｉ）を補間する場合、補間対象画素近傍のＪ画素（座標ｉ−２および座標ｉ＋２の位置にあるＪ画素）のＪ成分値をＪ成分の平均値Ｊａｖｅに置き換えた点と、補間対象画素におけるＪ成分値Ｊ（ｉ）に対応する点とで作られる三角形Ｔ１と、補間対象画素近傍のＫ画素（位置ｉ−１、位置ｉ＋１にあるＫ画素）のＫ成分値をＫ成分の平均値Ｋａｖｅに置き換えた点と、補間対象画素に与えられるＫ成分値Ｋ（ｉ）とで作られる三角形Ｔ２が相似になるよう、補間処理を行う。
【０１７０】
言い換えれば、Ｊ（ｉ）−Ｊａｖｅで計算されるＪ成分の増分に三角形Ｔ１と三角形Ｔ２の相似比（座標ｉ−２から座標ｉ＋２までの距離に対する、座標ｉ−１から座標ｉ＋１までの距離の比）をかけて、Ｋ成分の増分を求める。そして求めたＫ成分の増分をＫ成分の平均値に足して、Ｊ画素に対するＫ成分値を求める。図１９（Ａ）に表されるように、Ｊ成分とＫ成分の間に正の相関がある場合、Ｊ成分とＫ成分の信号変化は相似の関係にあるため、従来技術による補間では、Ｋ成分は適切に補間できる。一方、図１９（Ｂ）に表されるように、Ｊ成分とＫ成分の間に相関がない場合や、図１９（Ｃ）に表されるようにＪ成分とＫ成分の間に負の相関がある場合、Ｊ成分とＫ成分の信号変化は相似の関係にないため、従来技術による補間では、補間誤差が発生する。
【０１７１】
従来技術の補間で生じる補間誤差は以下のようにすれば解消できる。すなわち、Ｊ成分とＫ成分の間に負の相関がある場合は、Ｊ成分とＫ成分の増減は逆なので、Ｋ成分の平均値からＫ成分の増分を引いた値をＪ画素に対するＫ成分値として求めればよい。また、Ｊ成分とＫ成分の間に相関がない場合は、Ｋ成分値はほとんど変化しないので、Ｋ成分の平均値そのものをＪ画素に対するＫ成分値として求めてやればよい。本発明の実施の形態による補間処理装置によればこのような補間が可能になる。以下にその詳細を述べる。
【０１７２】
本発明の実施の形態による補間処理装置による補間処理は、１次元のカラーフィルタに対しては、以下の式で表すことができる。
Ｋ（ｉ）＝Ｋｌｐｆ＋ｓ・ｔ（Ｊ（ｉ）−Ｊｌｐｆ）
【０１７３】
上記の式において、ｔ（Ｊ（ｉ）−Ｊｌｐｆ）がＫ成分の増分に対応し、ＫｌｐｆがＫ成分の平均値に対応する。ｓ＝１とすると、Ｋ成分の平均値にＫ成分の増分を足した値をＫ成分値として求めることになり、ｓ＝０とするとＫ成分の平均値そのものをＫ成分値として求めることになり、ｓ＝−１とすると、Ｋ成分の平均値からＫ成分の増分を引いた値をＫ成分値として求めることになる。本発明による補間処理装置では、相関判別回路８においてＪ成分とＫ成分の間の相関を判別し、Ｊ成分とＫ成分の間に正の相関がある場合、ｓ＝１とし、Ｊ成分とＫ成分の間に相関がない場合、ｓ＝０とし、Ｊ成分とＫ成分の間に負の相関がある場合、ｓ＝−１とするので、Ｊ成分とＫ成分の間の相関に応じて適切に補間を行うことができる。
【０１７４】
以下にｔ（Ｊ（ｉ）−Ｊｌｐｆ）がＪ成分から計算される増分に対応することの説明、およびＪ成分とＫ成分の間の相関を判別して、ｓの値を決める方法についての説明を行う。
【０１７５】
まず、ｔ（Ｊ（ｉ）−Ｊｌｐｆ）がＫ成分の増分に対応することの説明を行う。
【０１７６】
ｔは以下の計算式で計算されるＪｄｉｓｐとＫｄｉｓｐの比、すなわち、Ｋｄｉｓｐ／Ｊｄｉｓｐで計算される値である。
Ｊｄｉｓｐ＝１＋{｜Ｊ（ｉ−２）−Ｊ（ｉ＋２）｜}／２
Ｋｄｉｓｐ＝１＋｜Ｋ（ｉ−１）−Ｋ（ｉ＋１）｜
【０１７７】
ここで、ＪｄｉｓｐとＫｄｉｓｐの意味について述べる。ＪｄｉｓｐとＫｄｉｓｐの第２項は、それぞれ補間対象画素周辺でのＪ成分およびＫ成分の変化量の大きさを表す値である。なお、Ｊｄｉｓｐの第２項を２で割っているが、これはＪｄｉｓｐの計算に用いた画素間の距離が、Ｋｄｉｓｐの計算に用いた画素間の距離の２倍あるからである。
【０１７８】
ＪｄｉｓｐとＫｄｉｓｐは、それぞれ補間対象画素周辺でのＪ成分およびＫ成分の変化量の大きさを表す値に１を足した値であるので、ＪｄｉｓｐおよびＫｄｉｓｐも、Ｊ成分およびＫ成分の変化量の大きさを表す値といえる。
【０１７９】
したがって、ＪｄｉｓｐとＫｄｉｓｐの比、Ｋｄｉｓｐ／Ｊｄｉｓｐで計算されるｔはＪ成分の変化量とＫ成分の変化量の比を表している。Ｊ（ｉ）−ＪｌｐｆはＪ成分の増分を表すので、ｔ（Ｊ（ｉ）−Ｊｌｐｆ）はＪ成分の増分にＪ成分の変化量とＫ成分の変化量の比をかけて、Ｋ成分の増分を計算している。
【０１８０】
図２０（Ａ）及び（Ｂ）を用いてさらに詳しく説明する。図２０（Ａ）は、Ｋ成分の増分Ｋ（ｉ）−ＫｌｐｆがＪ成分の増分Ｊ（ｉ）−Ｊｌｐｆとほぼ等しい場合を表し、図２０（Ｂ）はＫ成分の増分Ｋ（ｉ）−ＫｌｐｆがＪ成分の増分Ｊ（ｉ）−Ｊｌｐｆのほぼ半分の場合を表す。ＪｄｉｓｐとＫｄｉｓｐの計算式からも明らかなように、図２０（Ａ）の場合、ＪｄｉｓｐとＫｄｉｓｐはほぼ同じ値となり、ｔ＝１となる。一方、図２０（Ｂ）では、Ｋｄｉｓｐが図２０（Ａ）のおよそ半分となり、ｔ＝０．５となる。いずれも場合も、式ｔ（Ｊ（ｉ）−Ｊｌｐｆ）の計算結果は、Ｋ成分の増分とほぼ同じ値となる。すなわち、式ｔ（Ｊ（ｉ）−Ｊｌｐｆ）により、Ｋ成分の増分が計算されていることがわかる。
【０１８１】
なお、ＪｄｉｓｐとＫｄｉｓｐの第１項で１を加算している意味は以下の通りである。係数ｔは、ＫｄｉｓｐをＪｄｉｓｐで割った値として計算される。ここでＫ（ｉ−１）＝Ｋ（ｉ＋１）のとき、Ｋｄｉｓｐの第１項が存在しないと、Ｋｄｉｓｐの値は０となる。一般的に、０による割り算は不可能なのでこのとき、ｔの値を計算できなくなる。このような、計算不能の状態を回避するために第１項で１を足している。
【０１８２】
また、ｔの値に上限を設けることで過補正を防ぐこともできる。ｔはＫｄｉｓｐをＪｄｉｓｐで割ることで計算されるが、たとえば画像に含まれるノイズの影響でＫｄｉｓｐの値が極端に大きくなったり、Ｊｄｉｓｐの値が極端に小さくなったりすると、ｔの値も必要以上に大きくなることがある。ｔの値が必要以上に大きくなると、Ｋ成分の増分を表す値、ｔ（Ｊ（ｉ）−Ｊｌｐｆ）も必要以上に大きくなり、その結果、求められる不足色成分値は必要以上に大きくなったり、必要以上に小さくなったりすることがある。すなわち、過補正がかかった状態で不足色成分値が求められてしまう。そこでｔの値に上限を設け、例えば、ｔの値が１以上になった場合、ｔ＝１とするようにすれば、不足色成分値を補間する際に過補正がかかってしまうことを回避できる。
【０１８３】
また図２０（Ａ）及び（Ｂ）を用いた以上の説明では正の相関がある場合を例にしたが、負の相関がある場合も同様の効果が得られることは明らかであろう。
【０１８４】
次に、Ｊ成分とＫ成分の間の相関を判別する方法についての説明を行う。
【０１８５】
Ｊ成分とＫ成分の間の相関は、Ｊ成分とＫ成分の高周波成分を用いて判別することができる。図２１（Ａ）乃至（Ｉ）はＪ成分とＫ成分の間の相関に応じた、Ｊ成分値、Ｋ成分値、Ｊ成分値の高周波成分ＪｈｐｆおよびＫ成分値の高周波成分Ｋｈｐｆの変化の様子を表している。Ｊ成分とＫ成分の間に正の相関がある場合、図２１（Ａ）乃至（Ｃ）に表されるようにＪｈｐｆとＫｈｐｆの符号が一致する。Ｊ成分とＫ成分の間に相関がない場合、図２１（Ｄ）乃至（Ｆ）に表されるようにＫｈｐｆの値は０となる。Ｊ成分とＫ成分の間に負の相関がある場合、図２１（Ｇ）乃至（Ｉ）に表されるようにＪｈｐｆとＫｈｐｆの符号は逆になる。すなわち、Ｋｈｐｆ＝０の場合、Ｊ成分とＫ成分の間に相関はないと考え、ｓ＝０とし、ＪｈｐｆとＫｈｐｆの符号が逆の場合、Ｊ成分とＫ成分の間に負の相関があると考えｓ＝−１とし、それ以外の場合、ｓ＝１とすることで、Ｊ成分とＫ成分の間の相関に応じて適切に補間を行うことができる。
【０１８６】
なお、図２１（Ｄ）乃至（Ｆ）では理想的な状態を考えているため、相関がない場合、Ｋｈｐｆ＝０となっているが、実際には画像に含まれるノイズその他の影響で、相関がない場合、Ｋｈｐｆの値は小さな値になる。したがって、本発明の実施の形態による補間処理装置では、Ｋｈｐｆの値が０であるかを判断する際、閾値βを用いることで、Ｋｈｐｆの計算誤差に対応している。すなわち、以下の条件（１１）が満たされるとき、Ｋｈｐｆの値が０と考える。
（１１）    ｜Ｋｈｐｆ｜＜β
【０１８７】
同様に、ＪｈｐｆとＫｈｐｆの符号が逆かどうかを判断する際も、閾値βを用いることで、ＪｈｐｆおよびＫｈｐｆの計算誤差に対応している。すなわち、以下の条件（１２Ａ）、（１２Ｂ）のいずれかが満たされるとき、ＪｈｐｆとＫｈｐｆの符号が逆と判断する。
（１２Ａ）  Ｋｈｐｆ＞βかつＪｈｐｆ＜−β
（１２Ｂ）  Ｋｈｐｆ＜−βかつＪｈｐｆ＞β
【０１８８】
なお、本発明の実施の形態による補間処理装置では、エッジ検出回路７において、補間対象画素を中心にどの方向にエッジが存在するか判断し、その結果に応じて相関判別回路８で判別する相関の種類を変えている。すなわち、右上がり斜め方向または左上がり斜め方向にエッジが存在すると判断した場合は、正の相関があるのか、負の相関があるのか、相関がないのかを判別し、それ以外の場合は、正の相関があるのか、相関がないのかの判別を行い、負の相関については考慮しない。
【０１８９】
これは以下のように説明できる。負の相関はエッジを横切るように色成分の変化を見た場合に発生しやすい。例えば赤系の色から緑系の色に変化するエッジを横切るように色成分の変化を見ると、Ｒ成分が減少する一方でＧ成分は増加し、Ｒ成分とＧ成分の間に負の相関が発生する。逆にエッジを横切らない場合、異なる色成分の間に負の相関が発生する可能性は低く、負の相関については考慮する必要がないと考えられる。したがって、エッジが存在しないと判断した場合、既知色成分と不足色成分の間に負の相関が発生することを考慮する必要はない。また、水平方向のエッジが存在する場合、補間対象画素を中心に水平方向に位置する画素の色成分の変化を見れば、エッジを横切ることはなく、負の相関を考慮しなくてもよい。本発明の実施の形態による補間処理装置では、水平方向のエッジが存在する場合は、補間対象画素を中心に水平方向に位置する画素のもつ色成分値のみを用いて補間処理を行っているので負の相関については考慮していない。垂直方向にエッジが存在する場合についても同様である。一方、右上がり斜め方向あるいは左上がり斜め方向にエッジが存在する場合、本発明の実施の形態による補間処理装置では、補間対象画素を中心に水平方向および垂直方向に位置する画素のもつ色成分値を用いて補間を行う。この場合は、色成分の変化を水平方向に見ても、垂直方向に見てもエッジを横切るため、負の相関も考慮に入れる必要がある。
【０１９０】
要するにエッジの方向に適した相関判別を行うことができる。
【０１９１】
同様にローパスフィルタ回路９ｂや未知色増分計算回路３０もエッジ検出回路７のエッジ検出結果に応じて内部で行う計算を変えることでエッジの方向に適した動作が可能になる。
【０１９２】
以上、本発明の実施の形態による補間処理装置を用いて本発明の実施の形態を述べたが本発明の実施の形態はこれに限るものではない。例えば本発明の実施の形態では補間処理を補間処理回路５によるハードウェア処理で実現したが、同様の処理をソフトウェア演算にて実現する構成としてもよい。
【０１９３】
また、補間処理回路５の構成も本発明の実施の形態で述べたものに限らない。たとえば２次元メモリ６ｒ、６ｇ、６ｂの代わりにラインメモリを用いてもよい。さらに、差分回路７ｈ、７ｖ、７ｐ、７ｍやローパスフィルタ回路９ａ、９ｂ等、補間処理回路５内部の回路で行う演算も本発明の実施の形態に述べたものに限らない。
【０１９４】
また、本発明の実施の形態ではＧ画素に対するＲ成分値、Ｂ成分値を補間する際、係数ｔや係数ｓの値を常に１とする例を記載したが、Ｇ画素に対するＲ成分値、Ｂ成分値の補間はこれに限るものではなく、例えば他の色成分値の補間同様、高周波成分を計算し、Ｇ成分とＲ成分、Ｂ成分の間に正の相関が存在するのか、負の相関が存在するのか、あるいは相関が存在しないのかを判別するようにしてもよい。
【０１９５】
上記の実施の形態ではカラーフィルタにベイヤ配列型のものを用いたが、カラーフィルタもこれに限定されるものではない。
また、上記の実施の形態では、２次元撮像素子として、Ｒ、Ｇ、Ｂの３つの色の色フィルタがベイヤ型に配置されたものが用いられているが、色フィルタの種類の数は３に限らず、本発明は一般的に言えば、第１から第Ｎ（Ｎは２以上の自然数）のＮ種類の異なる色成分のうち、第Ｊ（Ｊは１からＮのいずれか一つ）の色成分値を有する画素（以下、補間対象画素と呼ぶ）に対し、第Ｋ（ＫはＪを除く１からＮのいずれか一つ）の色成分値を演算して、カラー画像を得る補間処理装置に適用可能である。
【０１９６】
さらに、本発明の実施の形態では差分回路７ｈ、７ｖ、７ｐ、７ｍおよび比較回路７ｃを用いてエッジの存在する方向を判別したが、これらの回路を設けず、常に高周波成分値を用いて、正の相関が存在するのか、負の相関が存在するのか、相関がないかを判別して補間を行うといった例も考えられる。
【０１９７】
要するに、本発明の実施の形態をもとに様々な変形例を考えることが可能である。
【産業上の利用可能性】
【０１９８】
本発明の活用例として、撮像装置に適用できる。
【図面の簡単な説明】
【０１９９】
【図１】本発明の実施の形態の補間処理装置を備えた撮像装置を示すブロック図である。
【図２】カラーフィルタの配列を示す図である。
【図３】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図４】（Ａ）及び（Ｂ）は、２次元メモリ６ｒ、６ｇへのＲ，Ｇ成分値の書き込みの様子を示す図である。
【図５】比較回路７ｃの動作を示すフローチャートである。
【図６】（Ａ）〜（Ｅ）は、画像中のエッジの様子を示す図である。
【図７】係数決定回路１１の動作を示すフローチャートである。
【図８】係数決定回路１１の動作を示すフローチャートである。
【図９】（Ａ）及び（Ｂ）は、２次元メモリ６ｂ、６ｇへのＢ，Ｇ成分値の書き込みの様子を示す図である。
【図１０】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１１】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１２】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１３】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１４】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１５】比較回路７ｃの動作を示すフローチャートである。
【図１６】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１７】（Ａ）〜（Ｃ）は、２次元メモリ６ｒ、６ｇ、６ｂへのＲ，Ｇ，Ｂ成分値の書き込みの様子を示す図である。
【図１８】（Ａ）〜（Ｃ）は、Ｊ成分とＫ成分の変化の様子を示す図である。
【図１９】（Ａ）〜（Ｃ）は、従来技術による補間結果を示す図である。
【図２０】Ｊ成分とＫ成分の変化の様子を示す図である。
【図２１】（Ａ）〜（Ｉ）は、Ｊ成分とＫ成分およびその高周波成分の変化の様子を示す図である。
【符号の説明】
【０２００】
８  相関判別回路、  ８ａ  高周波成分計算回路、  ８ｂ  高周波成分計算回路、  １１  係数決定回路、  ９ａ  低周波成分計算回路、  ９ｂ  低周波成分計算回路、  １０  比率計算回路、  １０ａ  変化量計算回路、  １０ｂ  変化量計算回路、  １０ｃ  除算器、  １２  減算器、  １３  乗算器、  １４  乗算器、  １５  加算器、  ２０  既知色増分計算回路、  ３０  不足色増分計算回路。
【図１】
2008042313.tif 000003
【図２】
2008042313.tif 000004
【図３】
2008042313.tif 000005
【図４】
2008042313.tif 000006
【図５】
2008042313.tif 000007
【図６】
2008042313.tif 000008
【図７】
2008042313.tif 000009
【図８】
2008042313.tif 000010
【図９】
2008042313.tif 000011
【図１０】
2008042313.tif 000012
【図１１】
2008042313.tif 000013
【図１２】
2008042313.tif 000014
【図１３】
2008042313.tif 000015
【図１４】
2008042313.tif 000016
【図１５】
2008042313.tif 000017
【図１６】
2008042313.tif 000018
【図１７】
2008042313.tif 000019
【図１８】
2008042313.tif 000020
【図１９】
2008042313.tif 000021
【図２０】
2008042313.tif 000022
【図２１】
2008042313.tif 000023