(57)【要約】【課題】  二次元平面上に配列された画素の不足色成分値の補間において、互いに異なる色成分値の変化の様子に相似の関係がない領域においても補間結果に偽色が発生するのを抑制することができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行う。【解決手段】  補間処理対象画素を中心に相関の強い方向に、不足色の色成分値を持つ画素が存在するかどうかを判定し（ＳＴ１０、１１、１２Ａ、１２Ｂ）、「存在する」と判定されたときに、第一の補間方法で補間処理を実行させ（ＳＴ１３Ａ、ＳＴ１３Ｂ）、「存在しない」と判定されたときに、第二の補間方法で補間処理を実行させる（ＳＴ１４Ａ、１４Ｂ）。【選択図】        図４
2006033333.tif 000002
【特許請求の範囲】
【請求項１】
二次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分値のうちの少なくとも一つの色成分値を有する複数の画素の、それぞれの色成分値の組に基づいて、第Ｊ（Ｊは１からＮのいずれか）の色成分値を有する補間処理対象画素の、第Ｋ（Ｋは１からＮのいずれか。但しＪとは異なる）の色成分値を補間により生成する画素信号処理方法において、
上記補間処理対象画素を中心に相関の強い方向に、上記第Ｋの色成分値を持つ画素が存在するかどうかを判定する画像特徴判定ステップと、
上記画像特徴判定ステップにおいて、「存在する」と判定されたときに、第一の補間方法で補間処理を実行させ、上記画像特徴判定ステップにおいて、「存在しない」と判定されたときに、上記第一の補間方法とは異なる第二の補間方法で補間処理を実行させる補間ステップとを有し、
上記第一及び第二の補間方法による補間がいずれも、上記補間処理対象画素及び上記補間処理対象画素の周辺の画素が持つ上記第Ｊの色成分値と、上記補間処理対象画素の周辺の画素が持つ上記第Ｋの色成分値とを元に上記補間処理対象画素の上記第Ｋの色成分値を補間するものである
ことを特徴とする画素信号処理方法。
【請求項２】
上記画像特徴判定ステップが、
上記補間処理対象画素を中心に相関の強い画素の並ぶ方向を判別する相関判別ステップと、
上記相関判別ステップで相関の強いと判定された方向に、補間しようとする色成分値と同じ色の色成分値を持つ画素が存在するかどうかを判定する有無判定ステップとを含む
ことを特徴とする請求項１に記載の画素信号処理方法。
【請求項３】
上記第一の補間方法による補間は、上記補間処理対象画素が持つ上記第Ｊの色成分値から、上記補間処理対象画素の周辺の画素が持つ上記第Ｊの色成分値の平均値を引いた値に、所定の比率ｆを乗じて得られた値と、上記補間処理対象画素の周辺の画素が持つ上記第Ｋの色成分値の平均値とを加算することで上記補間処理対象画素における上記第Ｋの色成分値を補間することを特徴とする請求項２に記載の画素信号処理方法。
【請求項４】
上記第一の補間方法による補間は、
上記第Ｊの色成分値の平均値を計算する際に、上記補間処理対象画素を中心に上記相関判別ステップで相関が強いと判定された方向に存在する画素が持つ上記第Ｊの色成分値のみを用い、
上記第Ｋの色成分値の平均値を計算する際に、上記補間処理対象画素を中心に上記相関判別ステップで相関が強いと判定された方向に存在する画素が持つ上記第Ｋの色成分値のみを用いる
ことを特徴とする請求項３に記載の画素信号処理方法。
【請求項５】
上記第一の補間方法による補間は、上記比率ｆを、上記第Ｊの色成分値の平均値を計算する際に使用した画素間の距離と、上記第Ｋの色成分値の平均値を計算する際に使用した画素間の距離とに応じて決定することを特徴とする請求項３に記載の画素信号処理方法。
【請求項６】
上記第二の補間方法による補間は、
上記補間処理対象画素周辺の画素がもつ第Ｊの色成分値をｘ成分（ｘｉ）、上記第Ｋの色成分値をｙ成分（ｙｉ）とした二次元座標データ（ｘｉ，ｙｉ）（ｉ＝１〜Ｍ）をＭ（Ｍは２以上の整数）個作成し、
上記二次元座標データに対し回帰分析を行うことで
補間処理対象画素周辺での上記第Ｊの色成分値と上記第Ｋの色成分値の関係を表す回帰式を求め、
上記回帰式と上記補間処理対象画素が持つ上記第Ｊの色成分値とから上記補間処理対象画素に対する上記第Ｋの色成分値を補間する
ことを特徴とする請求項１乃至４のいずれかに記載の画素信号処理方法。
【請求項７】
上記第二の補間方法による補間は、
上記回帰分析において、
【数１】
2006033333.tif 000027
で与えられるａ、ｂを用いた回帰式ｙ＝ａ×ｘ＋ｂで上記第Ｋの色成分値を求めることを特徴とする請求項６に記載の画素信号処理方法。
【請求項８】
上記第二の補間方法による補間は、
上記回帰式ｙ＝ａ×ｘ＋ｂのｘ、ｙに、補間処理対象画素の上記第Ｋの色成分値ＫＫ、上記第Ｊの色成分値ＪＪを代入した下記の式
ＫＫ＝ａ×ＪＪ＋ｂ
で、補間処理対象画素における上記第Ｋの色成分値ＫＫを求める補間演算を行うことを特徴とする請求項７に記載の画素信号処理方法。
【請求項９】
上記第二の補間方法による補間は、
上記ｘ成分（ｘｉ）（ｉ＝１〜Ｍ）の最大値と最小値の差が所定の閾値以下であるときは、線形補間を行うことを特徴とする請求項７又は８に記載の画素信号処理方法。
【請求項１０】
上記線形補間が、上記補間処理対象画素の周辺の画素の色成分値の平均を求めることにより行われるものであることを特徴とする請求項９に記載の画素信号処理方法。
【請求項１１】
二次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分値のうちの少なくとも一つの色成分値を有する複数の画素の、それぞれの色成分値の組に基づいて、第Ｊ（Ｊは１からＮのいずれか）の色成分値を有する補間処理対象画素の、第Ｋ（Ｋは１からＮのいずれか。但しＪとは異なる）の色成分値を補間により生成する画素信号処理装置において、
上記補間処理対象画素を中心に相関の強い方向に、上記第Ｋの色成分値を持つ画素が存在するかどうかを判定する画像特徴判定手段と、
第一の補間方法で補間を行う第一の補間手段と、
上記第１の補間方法とは異なる第二の補間方法で補間を行う第二の補間手段と、
上記画像特徴判定手段は、上記の判定で「存在する」と判定したときに、第一の補間手段で補間処理を実行させ、上記の判定で「存在しない」と判定したときに、上記第二の補間手段に補間処理を実行させ、
上記第一及び第二の補間手段がいずれも、上記補間処理対象画素及び上記補間処理対象画素の周辺の画素が持つ上記第Ｊの色成分値と、上記補間処理対象画素の周辺の画素が持つ上記第Ｋの色成分値とを元に上記補間処理対象画素の上記第Ｋの色成分値を補間するものである
ことを特徴とする画素信号処理装置。
【請求項１２】
上記画像特徴判定手段が、
上記補間処理対象画素を中心に相関の強い画素の並ぶ方向を判別する相関判別手段と、
上記相関判別手段で相関の強いと判定された方向に、補間しようとする色成分値と同じ色の色成分値を持つ画素が存在するかどうかを判定する有無判定手段とを含む
ことを特徴とする請求項１１に記載の画素信号処理装置。
【請求項１３】
上記第一の補間手段は、上記補間処理対象画素が持つ上記第Ｊの色成分値から、上記補間処理対象画素の周辺の画素が持つ上記第Ｊの色成分値の平均値を引いた値に、所定の比率ｆを乗じて得られた値と、上記補間処理対象画素の周辺の画素が持つ上記第Ｋの色成分値の平均値とを加算することで上記補間処理対象画素における上記第Ｋの色成分値を補間することを特徴とする請求項１２に記載の画素信号処理装置。
【請求項１４】
上記第一の補間手段は、
上記第Ｊの色成分値の平均値を計算する際に、上記補間処理対象画素を中心に上記相関判別手段で相関が強いと判定された方向に存在する画素が持つ上記第Ｊの色成分値のみを用い、
上記第Ｋの色成分値の平均値を計算する際に、上記補間処理対象画素を中心に上記相関判別手段で相関が強いと判定された方向に存在する画素が持つ上記第Ｋの色成分値のみを用いる
ことを特徴とする請求項１３に記載の画素信号処理装置。
【請求項１５】
上記第一の補間手段は、上記比率ｆを、上記第Ｊの色成分値の平均値を計算する際に使用した画素間の距離と、上記第Ｋの色成分値の平均値を計算する際に使用した画素間の距離とに応じて決定することを特徴とする請求項１３に記載の画素信号処理装置。
【請求項１６】
上記第二の補間手段は、
上記補間処理対象画素周辺の画素がもつ第Ｊの色成分値をｘ成分（ｘｉ）、上記第Ｋの色成分値をｙ成分（ｙｉ）とした二次元座標データ（ｘｉ，ｙｉ）（ｉ＝１〜Ｍ）をＭ（Ｍは２以上の整数）個作成し、
上記二次元座標データに対し回帰分析を行うことで
補間処理対象画素周辺での上記第Ｊの色成分値と上記第Ｋの色成分値の関係を表す回帰式を求め、
上記回帰式と上記補間処理対象画素が持つ上記第Ｊの色成分値とから上記補間処理対象画素に対する上記第Ｋの色成分値を補間する
ことを特徴とする請求項１１乃至１４のいずれかに記載の画素信号処理装置。
【請求項１７】
上記第二の補間手段は、
上記回帰分析において、
【数２】
2006033333.tif 000028
で与えられるａ、ｂを用いた回帰式ｙ＝ａ×ｘ＋ｂで上記第Ｋの色成分値を求めることを特徴とする請求項１６に記載の画素信号処理装置。
【請求項１８】
上記第二の補間手段は、
上記回帰式ｙ＝ａ×ｘ＋ｂのｘ、ｙに、補間処理対象画素の上記第Ｋの色成分値ＫＫ、上記第Ｊの色成分値ＪＪを代入した下記の式
ＫＫ＝ａ×ＪＪ＋ｂ
で、補間処理対象画素における上記第Ｋの色成分値ＫＫを求める補間演算を行うことを特徴とする請求項１７に記載の画素信号処理装置。
【請求項１９】
上記第二の補間手段は、
上記ｘ成分（ｘｉ）（ｉ＝１〜Ｍ）の最大値と最小値の差が所定の閾値以下であるときは、線形補間を行うことを特徴とする請求項１７又は１８に記載の画素信号処理装置。
【請求項２０】
上記線形補間が、上記補間処理対象画素の周辺の画素の色成分値の平均を求めることにより行われるものであることを特徴とする請求項１９に記載の画素信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素信号処理方法及び装置に関し、特に二次元平面上に配列され、各々が複数の色成分値のうちの少なくとも一つの色成分値を有していないとき、その画素が有していない色成分値を補間により生成することでカラー画像を得る画素信号処理方法及び装置に関するものである。
【背景技術】
【０００２】
このような画素信号処理は、例えば、各々が複数の色成分値、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のうちのいずれか一つの色成分値を発生する複数種類の光電変換素子が二次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるカラー撮像装置の一部として用いられ、撮像素子から出力された画素信号のうち、各画素位置において欠落している色成分値（不足色成分値）を補間するために用いられる。
【０００３】
従来の、赤、緑、青のカラーフィルタがベイヤ型に配置された撮像素子を有する撮像装置では、各々の画素につき、Ｇ、ＢまたはＢ、ＲまたはＲ、Ｇの色成分値が不足しており、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。
【０００４】
【特許文献１】特開２００１−１９７５１２公報（段落００４８〜００４９、図８）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この従来の方法は、補間処理対象画素の近傍の領域内において、それぞれの色成分値（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分値）の変化の様子に相似の関係があると仮定している。そのため、色成分値の変化の様子に相似の関係がない領域（例えばある色と別の色との境界など）での補間結果に偽色が発生するという問題があり、また補間処理対象画素の近傍の領域内における、複数の色成分値の変化の仕方によって、補間方法が適切でなくなることがあると言う問題があった。
【０００６】
本発明は、補間処理対象画素の近傍の領域内での色成分値の変化の様子に相似の関係がない領域においても補間結果に偽色が発生するのを抑制することができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、
二次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分値のうちの少なくとも一つの色成分値を有する複数の画素の、それぞれの色成分値の組に基づいて、第Ｊ（Ｊは１からＮのいずれか）の色成分値を有する補間処理対象画素の、第Ｋ（Ｋは１からＮのいずれか。但しＪとは異なる）の色成分値を補間により生成する画素信号処理方法において、
上記補間処理対象画素を中心に相関の強い方向に、上記第Ｋの色成分値を持つ画素が存在するかどうかを判定する画像特徴判定ステップと、
上記画像特徴判定ステップにおいて、「存在する」と判定されたときに、第一の補間方法で補間処理を実行させ、上記画像特徴判定ステップにおいて、「存在しない」と判定されたときに、上記第一の補間方法とは異なる第二の補間方法で補間処理を実行させる補間ステップとを有し、
上記第一及び第二の補間方法による補間がいずれも、上記補間処理対象画素及び上記補間処理対象画素の周辺の画素が持つ上記第Ｊの色成分値と、上記補間処理対象画素の周辺の画素が持つ上記第Ｋの色成分値とを元に上記補間処理対象画素の上記第Ｋの色成分値を補間するものである
ことを特徴とする画素信号処理方法を提供するものである。
【発明の効果】
【０００８】
本発明によれば、偽色の発生を抑えることができ、また補間処理対象画素の近傍の領域内での画素の色成分値の変化の仕方に応じて最適の補間を行うことができる。
【発明を実施するための最良の形態】
【０００９】
以下に図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、カラー撮像装置例えばデジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。
【００１０】
実施の形態１．
図１はこの発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を表すブロック図である。図２は、図１の画素信号処理回路４の構成を示す。図２に示すように、画素信号処理回路４は、フレームメモリ１０と、プロセッサ１１を有する。
レンズ１から入射した光は、二次元撮像素子、例えば固体撮像素子２の撮像面に結像する。固体撮像素子２は、二次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図３に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有するカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応した色成分のアナログ信号が出力される。
【００１１】
図３において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に二次元的に配列されているので、それらの位置は、ＨＶ座標面（またはＨＶ面）上の座標値で表すことができる。
また以下の説明で、Ｒのカラーフィルタで覆われた光電変換素子に対応した画素をＲ画素、Ｇのカラーフィルタで覆われた光電変換素子に対応した画素をＧ画素、Ｂのカラーフィルタで覆われた光電変換素子に対応した画素をＢ画素と呼ぶ。
【００１２】
固体撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログ信号を画素ごとに出力する。このアナログ信号はＡ／Ｄ変換器３でデジタル信号に変換され、出力され、各画素の持つ色成分値として、画素信号処理回路４内のフレームメモリ１０に書き込まれる。この際、各信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応づけて書き込まれる。
【００１３】
上記のように各画素を構成する光電変換素子の各々からは、Ｒ、Ｇ、Ｂいずれか一つの色成分値を表す信号しか得られない。即ち、Ｒ画素については、Ｒ成分値が既知である一方、Ｇ及びＢ成分値が未知であり、Ｇ画素については、Ｇ成分値が既知である一方、Ｂ及びＲ成分値が未知であり、Ｂ画素については、Ｂ成分値が既知である一方、Ｒ及びＧ成分値が未知である。各画素について、Ｒ、Ｇ、Ｂ全ての色成分値を持つことで、カラー画像を得ることができるので、フレームメモリ１０に書き込まれている、各画素位置における未知の色成分値は不足色成分値とも言われる。本発明の画素信号処理は、各画素において未知である色成分値（不足色成分値）を補間により求めるものである。
【００１４】
図２に示されるプロセッサ１１は、図３に示されるベイヤ配列型の画像データの各画素に対する不足色成分値の補間処理のため、図４、図５、図６、図７のフローチャートに示されるように動作する。プロセッサ１１で計算された各画素の不足色成分値（補間値）はＨＶ座標平面上での各画素の位置に対応づけられて、フレームメモリ１０に書き込まれる。
【００１５】
以下、画素信号処理回路４で行われる不足色成分値の補間処理について説明する。不足色成分値の補間には、
（Ｐ１）  Ｒ画素及びＢ画素におけるＧ成分値を求める処理、
（Ｐ２）  Ｇ画素におけるＲ成分値及びＢ成分値を求める処理、
（Ｐ３）  Ｂ画素におけるＲ成分値を求める処理、及び
（Ｐ４）  Ｒ画素におけるＢ成分値を求める処理、
が含まれ、例えば上に記載の順で行われる。
【００１６】
最初に、上記（Ｐ１）の、Ｒ画素及びＢ画素におけるＧ成分値の補間処理について説明する。まず、Ｒ画素におけるＧ成分値の補間について図４及び図８を参照して説明する。図４はＲ画素におけるＧ成分値の補間の際のプロセッサ１１の動作を示すフローチャートである。また、図８はフレームメモリ１０に書き込まれている各画素の有する色成分値のうち、Ｒ画素（Ｒ３３）におけるＧ成分値の補間の際に利用される画素の色成分値を模式的に表している。各画素位置の記号は、各画素が有する色成分値を表すものであり、最初のアルファベット（Ｒ、Ｇ、Ｂ）の色がＲ、Ｇ、Ｂのいずれであるかを示すとともに、それに続く２桁の数字が各画素の位置を表している。これらの各画素の色成分値を表す記号は、各画素を表すためにも用いられる。（以下の図でも同様の表記法が用いられる。）図示の例では、補間処理対象画素の位置が（３３）で表され、補間処理対象画素及びその色成分値がＲ３３で表されている。即ち、以下の説明では、Ｒ画素Ｒ３３を補間処理対象画素とし、Ｒ画素（Ｒ３３）の位置（３３）におけるＧ成分値を補間により生成するものとする。
【００１７】
以下に説明する各ステップの処理で用いられる各画素の色成分値は必要に応じてフレームメモリ１０から読み出される。
まず、ステップＳＴ１０、ＳＴ１１、ＳＴ１２Ａ、ＳＴ１２Ｂにおいて、補間処理対象画素Ｒ３３を中心として画像の相関の強い方向に、補間しようとする色成分（Ｇ成分）と同じ色の色成分値（Ｇ成分値）を有する画素が存在するかどうかの判定が行われる。
まず、ステップＳＴ１０及びステップＳＴ１１において、補間処理対象画素Ｒ３３を中心に水平方向及び垂直方向のいずれに相関が強いかの判別が行われる。この判別のため、補間処理対象画素Ｒ３３の周辺の画素の色成分値の一部が用いられて、以下の値ｄＶ、ｄＨが計算され（ステップＳＴ１０）、ｄＨ＜ｄＶかどうかの判定が行われる（ステップＳＴ１１）。
【００１８】
ｄＨ＝｜Ｇ２３−Ｇ４３｜
ｄＶ＝｜Ｇ３２−Ｇ３４｜
…（１）
【００１９】
ここで、ｄＨは、補間処理対象画素Ｒ３３を中心とした水平方向の画素のＧ成分値、即ち補間処理対象画素Ｒ３３に対し水平方向に整列し、補間処理対象画素Ｒ３３に隣接する２つの画素Ｇ２３、Ｇ４３のＧ成分値Ｇ２３、Ｇ４３の差の絶対値を表し、ｄＶは、補間処理対象画素Ｒ３３を中心とした垂直方向の画素のＧ成分値、即ち補間処理対象画素Ｒ３３に対し垂直方向に整列し、補間処理対象画素に隣接する２つの画素Ｇ３２、Ｇ３４のＧ成分値Ｇ３２、Ｇ３４の差の絶対値を表す。例えば横縞の画像のように画像中に水平方向の相関が強い場合はｄＨ＜ｄＶとなり、縦縞の画像のように垂直方向の相関が強い場合はｄＶ＜ｄＨとなる。なお、ｄＨ、ｄＶを求める式は式（１）に限定されない。
【００２０】
このｄＶ、ｄＨの大小関係に応じて、ステップＳＴ１２Ａ以下の処理もしくはステップＳＴ１２Ｂ以下の処理が行われる。即ち、ｄＨ＜ｄＶのときは（水平方向の相関が強いと判断されたときは）ステップＳＴ１２Ａ以下の処理が、それ以外のときは（垂直方向の相関が強いと判断されたときは）ステップＳＴ１２Ｂ以下の処理が行われる。
【００２１】
次に、ステップＳＴ１２Ａにおいて、補間処理対象画素Ｒ３３を中心に水平方向（ステップＳＴ１１で相関が強いと判断された方向）にＧ成分値を持つ画素、即ち補間しようとする色成分値と同じ色の色成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ１３Ａに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ１４Ａに進み、第二の補間が実行される。図８から明らかなように、Ｒ画素を中心とした水平方向にはＧ成分値を持つ画素が存在しているので、ステップＳＴ１３Ａに進み、第一の補間が実行される。
【００２２】
ステップＳＴ１３Ａでは、補間処理対象画素Ｒ３３及び補間処理対象画素Ｒ３３に対し水平方向に整列したＧ画素Ｇ２３、Ｇ４３のＧ色成分値Ｇ２３、Ｇ４３及びＲ画素Ｒ３３、Ｒ１３、Ｒ５３のＲ色成分値Ｒ３３、Ｒ１３、Ｒ５３を用いて、補間処理対象画素Ｒ３３におけるＧ成分値ｇ３３を求める下記の式（２）の補間演算が行われる。この補間演算は後述のように「相似関係を仮定した」補間演算である。
【００２３】
【数３】
2006033333.tif 000003
【００２４】
そして式（２）の補間演算で求められたＧ成分値ｇ３３が補間処理対象画素Ｒ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００２５】
ステップＳＴ１２Ｂにおいては、補間処理対象画素Ｒ３３を中心に垂直方向（ステップＳＴ１１で相関が強いと判断された方向）にＧ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ１３Ｂに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ１４Bに進み、第二の補間が実行される。図８から明らかなように、Ｒ画素を中心とした垂直方向にはＧ成分値を持つ画素が存在しているので、ステップＳＴ１３Ｂに進み第一の補間が実行される。
【００２６】
ステップＳＴ１３Ｂでは、補間処理対象画素Ｒ３３及び補間処理対象画素Ｒ３３に対し垂直方向に整列したＧ画素Ｇ３２、Ｇ３４のＧ色成分値Ｇ３２、Ｇ３４及びＲ画素Ｒ３３、Ｒ３１、Ｒ３５のＲ成分値Ｒ３３、Ｒ３１、Ｒ３５を用いて、補間処理対象画素Ｒ３３におけるＧ成分値ｇ３３を求める下記の式（３）の補間演算が行われる。この補間演算も、式（２）と同様、「相似関係を仮定した」補間演算である。
【００２７】
【数４】
2006033333.tif 000004
【００２８】
そして式（３）の補間演算で求められたＧ成分値ｇ３３が補間処理対象画素Ｒ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００２９】
以上の補間処理がすべてのＲ画素に対して実行され、Ｒ画素におけるＧ成分値が補間により求められる。
【００３０】
次にＢ画素におけるＧ成分値の補間について述べる。図９は、フレームメモリ１０に書き込まれている各画素が持つ色成分値のうち、Ｂ画素Ｂ３３におけるＧ成分値の補間の際に利用される画素の色成分値を模式的に表している。図９を図８と比較すれば明らかなように、図８と図９とでは、Ｒ画素とＢ画素及び各々の持つ色成分値が入れ替わっただけである。従って、Ｂ画素におけるＧ成分値の補間は、以上に説明したＲ画素におけるＧ成分値の補間のＲとＢを入れ替える以外は同様に行うことができる。
【００３１】
以上の補間処理によりＲ画素、Ｂ画素におけるＧ成分値の補間が行われると、フレームメモリ１０に書き込まれている各画素の色成分値は図１０に模式的に示されるようになる。なお、図１０中の大文字Ｒ、Ｇ、Ｂは各々の画素が持つ色成分値のうち、固体撮像素子２により与えられるＲ成分値、Ｇ成分値、Ｂ成分値を表し、小文字ｇは補間処理によって得られたＧ成分値を表す。
【００３２】
次に上記（Ｐ２）の、Ｇ画素におけるＲ成分値、Ｂ成分値の補間処理について説明する。ベイヤ配列においては、図３に示すように、補間処理対象画素となるＧ画素が属する行によって、補間処理対象画素に対して水平方向及び垂直方向に整列した画素の色が異なる。即ち、図３の一つおきの行、即ち図３で１番目、３番目、…の行（以下便宜上「奇数行」と言う）のＧ画素を補間処理対象画素とする場合、図１１（ａ）に示すように、水平方向にはＢ画素が整列し、垂直方向にはＲ画素が整列する一方、図３の、上記一つおきの行の間に位置する行、即ち、図３で２番目、４番目、…の行（以下「偶数行」と言う）のＧ画素を補間処理対象画素とする場合、図１１（ｂ）に示すように、水平方向にはＲ画素が整列し、垂直方向にはＢ画素が整列する。
【００３３】
図５はＧ画素におけるＲ成分値の補間の際のプロセッサ１１の動作を示すフローチャートである。また、図１２及び図１３はフレームメモリ１０に書き込まれている各画素が持つ色成分値のうち、Ｇ画素Ｇ３３におけるＲ成分値及びＢ成分値の補間の際に利用される画素の色成分値を模式的に表している。各画素位置の記号は、各画素が有する色成分値を表すものであるが、大文字Ｒ、Ｇ、Ｂで始まる記号は各画素がもともと持つ（すなわち固体撮像素子２によって与えられた）Ｒ成分値、Ｇ成分値、Ｂ成分値を表す記号であり、小文字ｇで始まる記号は、上記の（Ｐ１）の補間によって求められたＧ成分値であることを表す。また、図８同様、大文字Ｒ、Ｇ、Ｂで始まる記号は、各画素を表すためにも用いられる。図１２は補間処理対象画素Ｇ３３が奇数行にある場合を示し、図１３は補間処理対象画素Ｇ３３が偶数行にある場合を示す。
最初に、補間処理対象画素Ｇ３３が奇数行にあり、その補間処理対象画素におけるＲ成分値の補間について説明する。
【００３４】
以下に説明する各ステップの処理で用いられる各画素の色成分値は必要に応じてフレームメモリ１０から読み出される。
まず、ステップＳＴ２０、ＳＴ２１、ＳＴ２２Ａ、ＳＴ２２Ｂにおいて、補間処理対象画素Ｇ３３を中心として画像の相関の強い方向に、補間しようとする色成分（Ｒ成分）と同じ色の色成分値（Ｒ成分値）を有する画素が存在するかどうかの判定が行われる。
まず、ステップＳＴ２０及びＳＴ２１において、補間処理対象画素Ｇ３３を中心に水平方向及び垂直方向のいずれに相関が強いかの判別が行われる。この判別のため、補間処理対象画素Ｇ３３の周辺の画素の色成分値の一部が用いられて、以下の式（４）により、値ｄＶ、ｄＨが計算され（ステップＳＴ２０）、ｄＨ＜ｄＶかどうかの判定が行われる（ステップＳＴ２１）。なお、ｄＨ、ｄＶを求める式は式（４）に限定されない。
【００３５】
ｄＨ＝｜ｇ２３−ｇ４３｜
ｄＶ＝｜ｇ３２−ｇ３４｜
…（４）
【００３６】
ここで、ｄＨは、補間処理対象画素Ｇ３３を中心とした水平方向の画素のＧ成分値、即ち補間処理対象画素Ｇ３３に対し水平方向に整列し、補間処理対象画素Ｇ３３に隣接する２つの画素Ｂ２３、Ｂ４３のＧ成分値ｇ２３、ｇ４３の差の絶対値を表し、ｄＶは、補間処理対象画素Ｇ３３を中心とした垂直方向の画素のＧ成分値、即ち補間処理対象画素Ｇ３３に対し垂直方向に整列し、補間処理対象画素Ｇ３３に隣接する２つの画素Ｒ３２、Ｒ３４のＧ成分値ｇ３２、ｇ３４の差の絶対値を表す。水平方向の相関が強い場合はｄＨ＜ｄＶとなり、垂直方向の相関が強い場合はｄＶ＜ｄＨとなる。
【００３７】
このｄＶ、ｄＨの大小関係に応じて、ステップＳＴ２２Ａ以下の処理もしくはステップＳＴ２２Ｂ以下の処理が行われる。即ち、ｄＨ＜ｄＶのときは（水平方向の相関が強いと判断されたときは）ステップＳＴ２２Ａ以下の処理が、それ以外のときは（垂直方向の相関が強いと判断されたときは）ステップＳＴ２２Ｂ以下の処理が行われる。
【００３８】
次に、ステップＳＴ２２Ａにおいて、補間処理対象画素Ｇ３３を中心に水平方向（ステップＳＴ２１で相関が強いと判断された方向）にＲ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ２３Ａに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ２４Ａに進み、第二の補間が実行される。図１２から明らかなように、Ｇ画素を中心とした水平方向にはＲ成分値を持つ画素が存在しないので、ステップＳＴ２４Ａに進み、第二の補間が実行される。
【００３９】
ステップＳＴ２４Ａで実施される第二の補間の詳細を図７に示す。第二の補間では、回帰分析による補間、又は線形補間が選択的に行われる。
【００４０】
図７のステップＳＴ４０において、補間処理対象画素Ｇ３３の周辺の画素、即ち、
Ｒ画素Ｒ１２のＧ成分値ｇ１２とＲ成分値Ｒ１２、
Ｒ画素Ｒ３２のＧ成分値ｇ３２とＲ成分値Ｒ３２、
Ｒ画素Ｒ５２のＧ成分値ｇ５２とＲ成分値Ｒ５２、
Ｒ画素Ｒ１４のＧ成分値ｇ１４とＲ成分値Ｒ１４、
Ｒ画素Ｒ３４のＧ成分値ｇ３４とＲ成分値Ｒ３４、
Ｒ画素Ｒ５４のＧ成分値ｇ５４とＲ成分値Ｒ５４を用いて、下記の式（５）に示される二次元座標データ（ｘｉ、ｙｉ）（ｉ＝１〜６）が作成される。このとき、補間処理対象画素Ｇ３３が有する色成分値Ｇ３３と同じ色の色成分値ｇ１２、ｇ３２、ｇ５２、ｇ１４、ｇ３４、ｇ５４をｘｉとし、補間処理対象画素Ｇ３３において補間をしようとしている色成分値ｒ３３と同じ色の色成分値Ｒ１２、Ｒ３２、Ｒ５２、Ｒ１４、Ｒ３４、Ｒ５４をｙｉとする。
【００４１】
（ｘ１，ｙ１）＝（ｇ１２，Ｒ１２）
（ｘ２，ｙ２）＝（ｇ３２，Ｒ３２）
（ｘ３，ｙ３）＝（ｇ５２，Ｒ５２）
（ｘ４，ｙ４）＝（ｇ１４，Ｒ１４）
（ｘ５，ｙ５）＝（ｇ３４，Ｒ３４）
（ｘ６，ｙ６）＝（ｇ５４，Ｒ５４）
…（５）
【００４２】
次にステップＳＴ４１において上記ｘｉ（ｉ＝１〜６）の最大値と最小値の差が所定の閾値以下であるかの判定が行われる。そして、閾値以下である場合はステップＳＴ４２が実行され、そうでない場合はステップＳＴ４３、ステップＳＴ４４が実行される。
【００４３】
ステップＳＴ４２では線形補間により補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３が計算される。即ち、下記の式（６）による補間演算が行われ、求められた値ｒ３３が補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００４４】
【数５】
2006033333.tif 000005
【００４５】
式（６）の演算は、補間処理対象画素Ｇ３３の周囲に位置する画素の、補間しようとする色成分値ｒ３３と同じ色の色成分値Ｒ３２、Ｒ３４の平均を求めるものである。
【００４６】
ステップＳＴ４３及びステップＳＴ４４は、回帰分析による補間を行う。回帰分析による補間においては、二次元座標値のうちのｘｉを説明変数とし、ｙｉを目的変数として回帰分析を行い、ｘｉとｙｉとの関係を表す回帰式、特にその傾きａ、及びｙ切片ｂを求め、この回帰式を用いて補間処理対象画素における未知色の色成分値を算出する。具体的には、ステップＳＴ４３で式（７）に示す計算により直線ｙ＝ａ×ｘ＋ｂの傾きａ及びｙ切片ｂが求められる。
【００４７】
【数６】
2006033333.tif 000006
【００４８】
ステップＳＴ４４では直線ｙ＝ａ×ｘ＋ｂと補間処理対象画素Ｇ３３におけるＧ成分値Ｇ３３を用いた下記の式（８）により、補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３が計算され、補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００４９】
ｒ３３＝ａ×Ｇ３３＋ｂ
…（８）
【００５０】
以上がステップＳＴ２２Ａ以下の処理である。次にステップＳＴ２２Ｂ以下の処理について述べる。
【００５１】
ステップＳＴ２２Ｂにおいて、補間処理対象画素Ｇ３３を中心に垂直方向（ステップＳＴ２１で相関が強いと判断された方向）にＲ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ２３Ｂに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ２４Ｂに進み、第二の補間が実行される。図１２から明らかなように、Ｇ画素を中心とした垂直方向にはＲ成分値を持つ画素が存在するので、ステップＳＴ２３Ｂに進み、第一の補間が実行される。
【００５２】
ステップＳＴ２３Ｂでは、補間処理対象画素Ｇ３３のＧ成分値Ｇ３３、及び補間処理対象画素Ｇ３３に対し垂直方向に整列したＲ画素Ｒ３２、Ｒ３４のＲ色成分値Ｒ３２、Ｒ３４及びＧ成分値ｇ３２、ｇ３４を用いて、下記の式（９）により、補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３を求める補間演算が行われる。この補間演算も、式（２）と同様、「相似関係を仮定した」補間演算である。
【００５３】
【数７】
2006033333.tif 000007
【００５４】
上記の式（９）により求められた、補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３も、補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００５５】
以上が図５のステップＳＴ２２Ｂ以下で行われる処理である。以上の処理が全ての奇数行のＧ画素に対して行われ、奇数行のＧ画素におけるＲ成分値が補間により求められる。次に奇数行のＧ画素におけるＢ成分値の補間について図６及び図１２を参照して説明する。
なお図６はＢ成分値の補間の際のプロセッサ１１の動作を示すフローチャートである。
【００５６】
以下に説明する各ステップの処理で用いられる各画素の色成分値は必要に応じてフレームメモリ１０から読み出される。
まず、ステップＳＴ３０、ＳＴ３１、ＳＴ３２Ａ、ＳＴ３２Ｂにおいて、補間処理対象画素Ｇ３３を中心として画像の相関の強い方向に、補間しようとする色成分（Ｂ成分）と同じ色の色成分値（Ｂ成分値）を有する画素が存在するかどうかの判定が行われる。
まず、ステップＳＴ３０及びＳＴ３１において、補間処理対象画素Ｇ３３を中心に水平方向及び垂直方向のいずれに相関が強いかの判別が行われる。この判別のため、補間処理対象画素Ｇ３３の周辺の画素の色成分値の一部が用いられて、下記の式（１０）により、値ｄＶ、ｄＨが計算され（ステップＳＴ３０）、ｄＨ＜ｄＶかどうかの判定が行われる（ステップＳＴ３１）。なお、ｄＨ、ｄＶを求める式は式（１０）に限定されない。
【００５７】
ｄＨ＝｜ｇ２３−ｇ４３｜
ｄＶ＝｜ｇ３２−ｇ３４｜
…（１０）
【００５８】
このｄＶ、ｄＨの大小関係に応じて、ステップＳＴ３２Ａ以下の処理もしくはステップＳＴ３２Ｂ以下の処理が行われる。即ち、ｄＨ＜ｄＶのときは（水平方向の相関が強いと判断されたときは）ステップＳＴ３２Ａ以下の処理が、それ以外のときは（垂直方向の相関が強いと判断されたときは）ステップＳＴ３２Ｂ以下の処理が行われる。
【００５９】
次に、ステップＳＴ３２Ａにおいて、補間処理対象画素Ｇ３３を中心に水平方向（ステップＳＴ３１で相関が強いと判断された方向）にＢ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ３３Ａに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ３４Ａに進み、第二の補間が実行される。図１２から明らかなように、Ｇ画素を中心とした水平方向にはＢ成分値を持つ画素が存在するので、ステップＳＴ３３Ａに進み、第一の補間が実行される。
【００６０】
ステップＳＴ３３Ａでは、補間処理対象画素Ｇ３３のＧ成分値Ｇ３３、及び補間処理対象画素Ｇ３３に対し水平方向に整列したＢ画素Ｂ２３、Ｂ４３のＢ色成分値Ｂ３２、Ｂ４３及びＧ成分値ｇ２３、ｇ４３を用いて、補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３を求める、下記の式（１１）の補間演算が行われる。この補間演算も、式（２）と同様、「相似関係を仮定した」補間演算である。
【００６１】
【数８】
2006033333.tif 000008
【００６２】
上記の式（１１）により求められた、補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３も、補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００６３】
以上が図６のステップＳＴ３２Ａ以下の処理である。次にステップＳＴ３２Ｂ以下の処理について述べる。
【００６４】
ステップＳＴ３２Ｂにおいて、補間処理対象画素Ｇ３３を中心に垂直方向（ステップＳＴ３１で相関が強いと判断された方向）にＢ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ３３Ｂに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ３４Ｂに進み、第二の補間が実行される。図１２から明らかなように、Ｇ画素を中心とした垂直方向にはＢ成分値を持つ画素が存在しないので、ステップＳＴ３４Ｂに進み、第二の補間が実行される。
【００６５】
ステップＳＴ３４Ｂで実施される第二の補間の詳細を図７に示す。第二の補間では、回帰分析による補間、又は線形補間が選択的に行われる。
【００６６】
まずステップＳＴ４０において、補間処理対象画素Ｇ３３の周辺の画素、即ち、
Ｂ画素Ｂ２１のＧ成分値ｇ２１とＢ成分値Ｂ２１、
Ｂ画素Ｂ２３のＧ成分値ｇ２３とＢ成分値Ｂ２３、
Ｂ画素Ｂ２５のＧ成分値ｇ２５とＢ成分値Ｂ２５、
Ｂ画素Ｂ４１のＧ成分値ｇ４１とＢ成分値Ｂ４１、
Ｂ画素Ｂ４３のＧ成分値ｇ４３とＢ成分値Ｂ４３、
Ｂ画素Ｂ４５のＧ成分値ｇ４５とＢ成分値Ｂ４５を用いて、下記の式（１２）に示される二次元座標データ（ｘｉ、ｙｉ）（ｉ＝１〜６）が作成される。このとき、補間処理対象画素Ｇ３３が有する色成分値Ｇ３３と同じ色の色成分値ｇ２１、ｇ２３、ｇ２５、ｇ４１、ｇ４３、ｇ４５をｘｉとし、補間処理対象画素Ｇ３３において補間をしようとしている色成分値ｂ３３と同じ色の色成分値Ｂ２１、Ｂ２３、Ｂ２５、Ｂ４１、Ｂ４３、Ｂ４５をｙｉとする。
【００６７】
（ｘ１，ｙ１）＝（ｇ２１，Ｂ２１）
（ｘ２，ｙ２）＝（ｇ４１，Ｂ４１）
（ｘ３，ｙ３）＝（ｇ２３，Ｂ２３）
（ｘ４，ｙ４）＝（ｇ４３，Ｂ４３）
（ｘ５，ｙ５）＝（ｇ２５，Ｂ２５）
（ｘ６，ｙ６）＝（ｇ４５，Ｂ４５）
…（１２）
【００６８】
次にステップＳＴ４１において上記ｘｉ（ｉ＝１〜６）の最大値と最小値の差が所定の閾値以下であるかどうかの判定が行われる。そして、閾値以下である場合はステップＳＴ４２が実行され、そうでない場合はステップＳＴ４３、ステップＳＴ４４が実行される。
【００６９】
ステップＳＴ４２では線形補間により補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３が計算される。即ち、下記の式（１３）による補間演算が行われ、求められた値ｂ３３が補間処理対象画素Ｇ３３の位置に対応付けられてフレームメモリ１０に書き込まれる。
【００７０】
【数９】
2006033333.tif 000009
【００７１】
式（１３）の演算は、補間処理対象画素Ｇ３３の周囲に位置する画素の、補間しようとする色成分値ｂ３３と同じ色の色成分値Ｂ２３、Ｂ４３の平均を求めるものである。
【００７２】
ステップＳＴ４３及びステップＳＴ４４は、回帰分析による補間を行う。回帰分析による補間においては、二次元座標値のうちのｘｉを説明変数とし、ｙｉを目的変数として回帰分析を行い、ｘｉとｙｉとの関係を表す回帰式、特にその傾きａ、及びｙ切片ｂを求め、この回帰式を用いて補間処理対象画素における未知色の色成分値を算出する。具体的には、ステップＳＴ４３で下記の式（１４）に示す計算により、直線ｙ＝ａ×ｘ＋ｂの傾きａ及びｙ切片ｂが求められる。
【００７３】
【数１０】
2006033333.tif 000010
【００７４】
ステップＳＴ４４では直線ｙ＝ａ×ｘ＋ｂと補間処理対象画素Ｇ３３におけるＧ成分値Ｇ３３を用いた下記の式（１５）により、補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３が計算され、補間処理対象画素Ｇ３３の位置に対応付けられてフレームメモリ１０に書き込まれる。
【００７５】
ｂ３３＝ａ×Ｇ３３＋ｂ
…（１５）
【００７６】
以上がステップＳＴ３２Ｂ以下の処理である。以上の処理が全ての奇数行のＧ画素に対して行われ、奇数行のＧ画素におけるＢ成分値が補間により求められる。その結果、全ての奇数行のＧ画素に対してＲ成分値及びＢ成分値が求められたことになる。
【００７７】
次に補間処理対象画素Ｇ３３が偶数行にあり、その補間処理対象画素Ｇ３３におけるＲ成分値及びＢ成分値の補間について図１３を参照して説明する。
【００７８】
図１３を図１２と比較すれば明らかなように、図１３（偶数行のＧ画素を中心に見た場合）と図１２（奇数行のＧ画素を中心に見た場合）とでは、Ｒ画素とＢ画素（及びこれらの成分値）が入れ替わっただけである。従って、偶数行のＧ画素におけるＲ成分値、Ｂ成分値の補間は、以上に説明した奇数行のＧ画素におけるＲ成分値、Ｂ成分値の補間と、ＲとＢを入れ替える以外は同様に行うことができる。
したがって偶数行のＧ画素におけるＲ成分値の補間としては、上述の奇数行のＧ画素におけるＢ成分値の補間の説明において、ＢをＲで置き換えたものを実行すれば良い。同様に、偶数行のＧ画素におけるＢ成分値の補間としては、上述の奇数行のＧ画素におけるＲ成分値の補間の説明において、ＲをＢで置き換えたものを実行すれば良い。
以上の補間処理により全てのＧ画素に対してＲ成分値、Ｂ成分値の補間が行われると、フレームメモリ１０に書き込まれている各画素の色成分値は図１４に示されるようになる。図１４中の大文字Ｒ、Ｇ、Ｂは各々の画素が持つ色成分値のうち、固体撮像素子２により与えられるＲ成分値、Ｇ成分値、Ｂ成分値を表し、小文字ｒ、ｇ、ｂは補間処理によって得られたＲ成分値、Ｇ成分値、Ｂ成分値を表す。
【００７９】
次に上記（Ｐ３）の、Ｂ画素におけるＲ成分値の補間について図５及び図１５を参照して説明する。
【００８０】
図５はＢ画素におけるＲ成分値の補間の際のプロセッサ１１の動作を表すフローチャートである。また、図１５はフレームメモリ１０に書き込まれている各画素が持つ色成分値のうち、Ｂ画素Ｂ３３におけるＲ成分値の補間の際に利用される画素の色成分値を模式的に表している。各画素位置の記号は、各画素が有する色成分値を表すものであるが、大文字Ｒ、Ｇ、Ｂで始まる記号は、各画素がもともと持つ（すなわち固体撮像素子２によって与えられた）Ｒ成分値、Ｇ成分値、Ｂ成分値であることを表し、小文字ｒ、ｇ、ｂで始まる記号は、上記の（Ｐ１）、（Ｐ２）の補間によって求められたＲ成分値、Ｇ成分値、Ｂ成分値であることを表す。
また、図８同様、大文字Ｒ、Ｇ、Ｂで始まる記号は各画素を表すためにも用いられる。
【００８１】
以下に説明する各ステップの処理で用いられる各画素の色成分値は必要に応じてフレームメモリ１０から読み出される。
まず、ステップＳＴ２０、ＳＴ２１、ＳＴ２２Ａ、ＳＴ２２Ｂにおいて、補間処理対象画素Ｂ３３を中心として画像の相関の強い方向に、補間しようとする色成分（Ｒ成分）と同じ色の色成分値（Ｒ成分値）を有する画素が存在するかどうかの判定が行われる。
まず、ステップＳＴ２０及びステップＳＴ２１において、補間処理対象画素Ｂ３３を中心に水平方向及び垂直方向のいずれに相関が強いかの判別が行われる。この判別のため、補間処理対象画素Ｂ３３の周辺の画素が用いられて、下記の式（１６）で表される値ｄＶ、ｄＨが計算され（ステップＳＴ２０）、ｄＨ＜ｄＶかどうかの判定が行われる（ステップＳＴ２１）。
【００８２】
ｄＨ＝｜Ｇ２３−Ｇ４３｜
ｄＶ＝｜Ｇ３２−Ｇ３４｜
…（１６）
【００８３】
ここで、ｄＨは、補間処理対象画素Ｂ３３を中心とした水平方向の画素のＧ成分値、即ち補間処理対象画素Ｂ３３に対し水平方向に整列し、補間処理対象画素Ｂ３３に隣接する２つの画素Ｇ２３、Ｇ４３のＧ成分値の差の絶対値を表し、ｄＶは、補間処理対象画素Ｂ３３を中心とした垂直方向の画素のＧ成分値、即ち補間処理対象画素Ｂ３３に対し垂直方向に整列し、補間処理対象画素に隣接する２つの画素Ｇ３２、Ｇ３４のＧ成分値の差の絶対値を表す。水平方向の相関が強い場合はｄＨ＜ｄＶとなり、垂直方向の相関が強い場合はｄＶ＜ｄＨとなる。なお、ｄＨ、ｄＶを求める式は式（１６）に限定されない。
【００８４】
このｄＶ、ｄＨの大小関係に応じて、ステップＳＴ２２Ａ以下の処理もしくはステップＳＴ２２Ｂ以下の処理が行われる。即ち、ｄＨ＜ｄＶのときは（水平方向の相関が強いと判断されたときは）ステップＳＴ２２Ａ以下の処理が、それ以外のときは（垂直方向の相関が強いと判断されたときは）ステップＳＴ２２Ｂ以下の処理が行われる。
【００８５】
次に、ステップＳＴ２２Ａにおいて、補間処理対象画素Ｂ３３を中心に水平方向（ステップＳＴ２１で相関が強いと判断された方向）にＲ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ２３Ａに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ２４Ａに進み、第二の補間が実行される。図１５から明らかなように、Ｂ画素を中心とした水平方向にはＲ成分値を持つ画素が存在するので、ステップＳＴ２３Ａに進み、第一の補間が実行される。
【００８６】
ステップＳＴ２３Ａでは、補間処理対象画素Ｂ３３のＧ成分値ｇ３３、及び補間処理対象画素Ｂ３３に対し水平方向に整列したＧ画素Ｇ２３、Ｇ４３のＧ成分値Ｇ２３、Ｇ４３及びＲ成分値ｒ２３、ｒ４３を用いて、下記の式（１７）により、補間処理対象画素Ｂ３３におけるＲ成分値ｒ３３を求める補間演算が行われる。この補間演算も、式（２）と同様、「相似関係を仮定した」補間演算である。
【００８７】
【数１１】
2006033333.tif 000011
【００８８】
上記の式（１７）により求められた、補間処理対象画素Ｂ３３におけるＲ成分値ｒ３３も、補間処理対象画素Ｂ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００８９】
以上がステップＳＴ２２Ａ以下の処理である。次にステップＳＴ２２Ｂ以下の処理について述べる。
ステップＳＴ２２Ｂにおいては、補間処理対象画素Ｂ３３を中心に垂直方向（ステップＳＴ２１で相関が強いと判断された方向）にＲ成分値を持つ画素が存在するかどうかの判定が行われる。
存在すると判断されたときは、ステップＳＴ２３Ｂに進み、第一の補間が実行される。存在しないと判断されたときは、ステップＳＴ２４Ｂに進み、第二の補間が実行される。図１５から明らかなように、Ｂ画素を中心とした垂直方向にはＲ成分値を持つ画素が存在するので、ステップＳＴ２３Ｂに進み、第一の補間が実行される。
【００９０】
ステップＳＴ２３Ｂでは、補間処理対象画素Ｂ３３のＧ成分値ｇ３３、及び補間処理対象画素Ｂ３３に対し垂直方向に整列したＧ画素Ｇ３２、Ｇ３４のＧ成分値Ｇ３２、Ｇ３４及びＲ成分値ｒ３２、ｒ３４を用いて、下記の式（１８）により、補間処理対象画素Ｂ３３におけるＲ成分値ｒ３３を求める補間演算が行われる。この補間演算も、式（２）と同様、「相似関係を仮定した」補間演算である。
【００９１】
【数１２】
2006033333.tif 000012
【００９２】
上記の式（１８）により求められた、補間処理対象画素Ｂ３３におけるＲ成分値ｒ３３も、補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ１０に書き込まれる。
【００９３】
以上の処理がすべてのＢ画素に対して行われ、Ｂ画素におけるＲ成分値が補間により求められる。
次に上記（Ｐ４）の、Ｒ画素におけるＢ成分値の補間について述べる。
【００９４】
図１６はフレームメモリ１０に書き込まれている各画素が持つ色成分値のうち、Ｒ画素Ｒ３３におけるＢ成分値の補間の際に利用される画素の持つ色成分値を模式的に表している。各画素位置の記号のうち、大文字Ｒ、Ｇ、Ｂで始まる記号は各画素がもともと持つ（すなわち固体撮像素子２によって与えられた）Ｒ成分値、Ｇ成分値、Ｂ成分値を表す記号であり、小文字ｒ、ｇ、ｂで始まる記号は上記の（Ｐ１）、（Ｐ２）の補間によって求められたＲ成分値、Ｇ成分値、Ｂ成分値を表す。また、図８同様、大文字Ｒ、Ｇ、Ｂで始まる記号は各画素を表すためにも用いられる。
【００９５】
図１６を図１５と比較すると明らかなように、両者の画素配置及び色成分の分布はＲ成分とＢ成分を入れ替えただけである。すなわち、図１６と図１５はＲとＢおよびｒとｂが入れ替わった以外は同様である。
【００９６】
したがって、Ｒ画素におけるＢ成分値の補間は、上述のＢ画素におけるＲ成分値の補間とＲとＢおよびｒとｂが入れ替わる以外は同様に行われる。
【００９７】
以上によりすべての補間処理が終わり、フレームメモリ１０には図１７に示されるように各画素についてＲ成分値、Ｇ成分値、Ｂ成分値が書き込まれている。したがって、フレームメモリ１０に書き込まれたデータを出力することにより、カラー画像を得ることができる。
なお、図１７において、大文字Ｒ、Ｇ、Ｂは固体撮像素子２によって与えられたＲ成分値、Ｇ成分値、Ｂ成分値を表し、小文字ｒ、ｇ、ｂは補間処理によって与えられたＲ成分値、Ｇ成分値、Ｂ成分値を表す。
【００９８】
上述の画素信号処理方法による効果は以下の通りである。
【００９９】
まず、第一の補間方法は、異なる色成分値間の変化に相関関係があることを仮定した補間である。
【０１００】
図１８は、上記（Ｐ１）の、Ｒ画素におけるＧ成分値の補間の際に、図４のステップＳＴ１１で水平方向の相関が強いと判断されたときにステップＳＴ１３Ａで行われる第一の補間を説明するための図である。図１８において、補間処理対象画素を中心に水平方向に沿ってＲ成分値の変化をプロットした曲線がＬ１で表され、Ｇ成分値の変化を推定した曲線がＬ２で表されている。さらに、図１８において、Ｈ軸は撮像素子２の撮像面上の水平軸に対応し、Ｚ軸は各画素の色成分値を表す。
Ｒ１、Ｒ２は、そのＨ軸上の位置が撮像面の水平軸上における画素Ｒ１３、Ｒ５３の位置に対応し、そのＺ軸上の位置がＲ成分値Ｒ１３、Ｒ５３の平均値に対応する点であり、Ｒ０は、そのＨ軸上の位置が撮像面の水平軸上における補間処理対象画素Ｒ３３の位置に対応し、そのＺ軸上の位置がＲ成分値Ｒ３３に対応する点である。
Ｇ１、Ｇ２は、そのＨ軸上の位置が撮像面の水平軸上における画素Ｇ２３、Ｇ４３の位置に対応し、そのＺ軸上の位置がＧ成分値Ｇ２３、Ｇ４３の平均値に対応する点であり、Ｇ０は、そのＨ軸上の位置が撮像面の水平軸上における補間処理対象画素Ｒ３３の位置に対応し、そのＺ軸上の位置が補間により求められるＧ成分値ｇ３３に対応する点である。
ステップＳＴ１３Ａで行われる式（２）の計算は、三角形Ｒ０Ｒ１Ｒ２と三角形Ｇ０Ｇ１Ｇ２が相似になるようにＧ成分値ｇ３３を定めるものである。
【０１０１】
言換えれば、補間処理対象画素Ｒ３３の周辺の２つのＲ成分値（既知色の色成分値）を有する画素Ｒ１３、Ｒ５３のＲ成分値Ｒ１３、Ｒ５３の平均値Ｒａｖと、補間処理対象画素Ｒ３３におけるＲ成分値Ｒ３３との差（Ｒ３３−Ｒａｖ）と、補間処理対象画素Ｒ３３の周辺の２つのＧ成分値（補間処理対象画素において補間しようとしている不足色の色成分値と同じ色の色成分値）を有する画素Ｇ２３、Ｇ４３のＧ成分値Ｇ２３、Ｇ４３の平均値Ｇａｖと、補間により求められる補間処理対象画素Ｒ３３におけるＧ成分値ｇ３３との差（ｇ３３−Ｇａｖ）の比と、上記補間処理対象画素Ｒ３３の周辺の上記２つのＲ成分値を有する画素（上記Ｒ成分値の平均値Ｒａｖの計算に用いられた色成分値Ｒ１３、Ｒ５３を有する２つの画素）Ｒ１３、Ｒ５３相互間の、Ｈ軸上の距離（ＨＶ平面上における距離）Ｄｋと、上記補間処理対象画素Ｒ３３の周辺の上記２つのＧ成分値を有する画素（上記Ｇ成分値の平均値の計算に用いられた色成分値Ｇ２３、Ｇ４３を有する２つの画素）Ｇ２３、Ｇ４３相互間の、Ｈ軸上の距離（ＨＶ平面上における距離）Ｄｕとの比が互いに等しくなるように、補間処理対象画素Ｒ３３におけるＧ成分値ｇ３３が定められる。
上記の関係を数式で表すと、
【０１０２】
【数１３】
2006033333.tif 000013
【０１０３】
上記のように、
Ｇａｖは色成分値Ｇ２３とＧ４３の平均値（Ｇａｖ＝（Ｇ２３＋Ｇ４３）／２）、
Ｒａｖは色成分値Ｒ１３とＲ５３の平均値（Ｒａｖ＝（Ｒ１３＋Ｒ５３）／２）
である。従って、
【０１０４】
ｇ３３＝Ｇａｖ＋（Ｄｕ／Ｄｋ）（Ｒ３３−Ｒａｖ）
【０１０５】
Ｄｕ／Ｄｋ＝ｆとすれば、
ｇ３３＝Ｇａｖ＋ｆ（Ｒ３３−Ｒａｖ）
【０１０６】
画素が均等に配置されている場合、隣接する画素間の距離をｄで表すと、
ｆ＝Ｄｕ／Ｄｋ＝ｄ／２ｄ＝１／２
で与えられる。
【０１０７】
以上はＲ画素におけるＧ成分値の補間で特に水平方向に相関が強い場合を例に説明を行ったが、垂直方向に相関が強い場合も同様の説明をすることができる。また、Ｂ画素におけるＧ成分値の補間でも同様の説明ができる。
【０１０８】
図１９は、上記（Ｐ２）の、Ｇ画素におけるＲ成分値の補間の際に、特に奇数行のＧ画素におけるＲ成分の補間において、図５のステップＳＴ２１で垂直方向の相関が強いと判断されたときにステップＳＴ２３Ｂで行われる第一の補間を説明するための図である。図１９において、補間処理対象画素を中心に垂直方向に沿ってＧ成分値の変化をプロットした曲線がＬ２で表され、Ｒ成分値の変化を推定した曲線がＬ１で表されている。
【０１０９】
さらに、図１９においてＶ軸は撮像素子２の撮像面上の垂直軸に対応し、Ｚ軸は各画素の色成分値を表す。
Ｇ１、Ｇ２は、そのＶ軸上の位置が撮像面の垂直軸上における画素Ｒ３２、Ｒ３４の位置に対応し、そのＺ軸上の位置がＧ成分値ｇ３２、ｇ３４の平均値に対応する点であり、Ｇ０は、そのＶ軸上の位置が撮像面の垂直軸上における補間処理対象画素Ｇ３３の位置に対応し、そのＺ軸上の位置がＧ成分値Ｇ３３に対応する点である。
Ｒ１、Ｒ２は、そのＶ軸上の位置が撮像面の垂直軸上における画素Ｒ３２、Ｒ３４の位置に対応し、そのＺ軸上の位置がＲ成分値Ｒ３２、Ｒ３４の平均値に対応する点であり、Ｒ０は、そのＶ軸上の位置が撮像面の垂直軸上における補間処理対象画素Ｇ３３の位置に対応し、そのＺ軸上の位置が補間により求められるＲ成分値ｒ３３に対応する点である。
【０１１０】
ステップＳＴ２３Ｂで行われる式（９）の計算は、三角形Ｇ０Ｇ１Ｇ２と三角形Ｒ０Ｒ１Ｒ２が相似になるようにＲ成分値ｒ３３を定めるものである。
【０１１１】
言換えれば、補間処理対象画素Ｇ３３の周辺の２つのＧ成分値（既知色の色成分値）を有する画素Ｒ３２、Ｒ３４のＧ成分値ｇ３２、ｇ３４の平均値Ｇａｖと、補間処理対象画素Ｇ３３におけるＧ成分値Ｇ３３との差（Ｇ３３−Ｇａｖ）と、補間処理対象画素Ｇ３３の周辺の２つのＲ成分値（補間処理対象画素において補間しようとしている不足色の色成分値と同じ色の色成分値）を有する画素Ｒ３２、Ｒ３４のＲ成分値Ｒ３２、Ｒ３４の平均値Ｒａｖと、補間により求められる補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３との差（ｒ３３−Ｒａｖ）の比と、上記補間処理対象画素Ｇ３３の周辺の上記２つのＧ成分値を有する画素（上記Ｇ成分値の平均値Ｇａｖの計算に用いられたＧ成分値ｇ３２、ｇ３４を有する２つの画素）Ｒ３２、Ｒ３４相互間の、Ｖ軸上の距離（ＨＶ平面上における距離）Ｄｋと、上記補間処理対象画素Ｇ３３の周辺の上記２つのＲ成分値を有する画素（上記Ｒ成分値の平均値の計算に用いられた色成分値Ｒ３２、Ｒ３４を有する２つの画素）Ｒ３２、Ｒ３４相互間の、Ｖ軸上の距離（ＨＶ平面上における距離）Ｄｕとの比が互いに等しくなるように、補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３が定められる。
上記の関係を数式で表すと、
【０１１２】
【数１４】
2006033333.tif 000014
【０１１３】
上記のように、
Ｒａｖは色成分値Ｒ３２とＲ３４の平均値（Ｒａｖ＝（Ｒ３２＋Ｒ３４）／２）、
Ｇａｖは色成分値ｇ３２とｇ４３の平均値（Ｇａｖ＝（ｇ３２＋ｇ３４）／２）、
である。従って、
【０１１４】
ｒ３３＝Ｒａｖ＋（Ｄｕ／Ｄｋ）（Ｇ３３−Ｇａｖ）
【０１１５】
Ｄｕ／Ｄｋ＝ｆとすれば、
ｒ３３＝Ｒａｖ＋ｆ（Ｇ３３−Ｇａｖ）
【０１１６】
画素が均等に配置されている場合、隣接する画素間の距離をｄで表すと、
ｆ＝Ｄｕ／Ｄｋ＝ｄ／ｄ＝１
で与えられる。
【０１１７】
以上は奇数行のＧ画素におけるＲ成分値の補間で特に垂直方向に相関が強い場合を例に説明を行ったが、偶数行のＧ画素におけるＲ成分値の補間で水平方向に相関が強い場合も同様の説明をすることができる。また、Ｇ画素におけるＢ成分値の補間、Ｒ画素におけるＢ成分値の補間、Ｂ画素におけるＲ成分値の補間でも同様の説明ができる。
【０１１８】
以上の関係を一般化すれば、第一の補間による補間演算においては、
補間処理対象画素における既知色の色成分値をＪ色成分値ＪＪとし、
補間処理対象画素周辺の画素が持つ既知色の色成分値の平均値をＪａｖとし、
補間処理対象画素における未知色の色成分値、即ち補間しようとする色成分値を、Ｋ色成分値ＫＫとし、
補間処理対象画素周辺の画素が持つ未知色の色成分値の平均値をＫａｖとすると、
ＫＫは以下の式（１９）で与えられる。
【０１１９】
ＫＫ＝Ｋａｖ＋ｆ（ＪＪ−Ｊａｖ）      …（１９）
ただしｆは、上記のように画素間距離相互間の比を表す定数である。
【０１２０】
ｆの値を上記のように定めて補間を行えば、Ｊ色の変化とＫ色の変化が相似となる。この補間方法に従えば２つの色成分値の変化が一致乃至同様となる。従って、二つの色成分値が同じように変化する場合、例えば、色相が同じで、その濃淡が変化する領域での補間に優れている。
【０１２１】
次に、第二の補間方法の効果について図２０、図２１を参照して説明する。
【０１２２】
説明に先立ち、式（７）の計算について説明する。
【０１２３】
二つの変数（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）の組があり、二つの変数ｘｉ，ｙｉの関係を表す直線を最小二乗法により求めるとき、その直線の傾きａ及びｙ切片ｂは、式（２０）で与えられる。
【０１２４】
【数１５】
2006033333.tif 000015
【０１２５】
式（７）は、式（２０）でＭ＝６の場合を相当する。
【０１２６】
このようにして得られたａ、ｂを用いて、変数ｙｉを変数ｘｉの関数として求めることを回帰分析という。すなわち第二の補間方法では回帰分析により補間を行っている。回帰分析において、関数として求められる変数ｙｉを目的変数と言い、他方の変数ｘｉを説明変数と言う。
【０１２７】
図２０は領域Ａで表される色と領域Ｂで表される色との境界付近の様子を模式的に示した図である。また、ベイヤ配列の補間において、上記の（Ｐ１）のＲ画素、Ｂ画素におけるＧ成分値の補間が終了した時点での図である。（すなわち、つぎに、上記の（Ｐ２）のＧ画素におけるＲ成分値、Ｂ成分値の補間が行われる。）
【０１２８】
図２０のように垂直方向に延びた境界に沿う領域では、明らかに垂直方向に相関が強いので、各画素に対する不足色成分値は補間処理対象画素を中心に垂直方向に存在する画素のもつ色成分値を用いて、第一の補間方法に従って補間するのが望ましい。しかしながら画素の配列及び各画素の持つ色成分値の制約から、画素Ｇ３３にＲ成分値を補間する際、補間処理対象画素Ｇ３３を中心に垂直方向に存在する画素にＲ成分値を持つものが存在しないため、第一の補間方法により補間処理を行うことができない。本実施の形態では、このような場合、第二の補間方法による補間処理を行うとしている。
【０１２９】
図２１は第二の補間方法を説明するための図である。図２１はＧ画素に対してＲ成分値を補間する際を例にして描かれており、横軸は各画素のもつＧ成分値を、縦軸は各画素のもつＲ成分値を表す。また図２１において領域Ａの中に含まれる３点が図２０に書かれた色成分値を用いた二次元座標データ（ｇ２１，Ｒ２１）、（ｇ２３，Ｒ２３）、（ｇ２５，Ｒ２５）で表される点であり、領域Ｂの中に含まれる３点が図２０に書かれた色成分値を用いた二次元座標データ（ｇ４１，Ｒ４１）、（ｇ４３，Ｒ４３）、（ｇ４５，Ｒ４５）で表される点である。また、領域Ａから領域Ｂへの色の変化を表す直線がＬ３として描かれている。
【０１３０】
第二の補間方法では、直線Ｌ３を式（２０）により求め、補間処理対象画素Ｇ３３における不足色成分値ｒ３３が、この直線Ｌ３上に位置するものとして補間を行っている。このように補間を行うことで、画像が一つの色から他の色に変化している領域でも色の変化を直線Ｌ３で表し、その直線上に不足色成分値を求めるので、色の境界において、色の変化に対応した補間を行うことができる。従って、第二の補間方法は色の境界での補間に適した方法であると言える。
【０１３１】
また、図２０、図２１ではＧ成分値とＲ成分値を参照して説明を行ったが、どのような色成分値の組み合わせでも同様の説明ができる。
【０１３２】
そして、本実施の形態では、ステップＳＴ１１、ＳＴ２１、ＳＴ３１においてｄＨ、ｄＶを比較することで相関の強い（色の似ている）方向を判別し、ステップＳＴ１２Ａ、ＳＴ１２Ｂ、ＳＴ２２Ａ、ＳＴ２２Ｂ、ＳＴ３２Ａ、ＳＴ３２Ｂにおいてその方向に沿って補間しようとする色成分値と同じ色の色成分値を持った画素が存在するときは第一の補間方法を選択し、そうでない時は第二の補間方法を選択するというように、補間方法を適応的に選択している。このように補間方法を選択することで、ある色と別の色の境界付近において、補間処理対象画素近傍の画素が持つ色成分値の制約から、相関の強い方向に補間したい色と同色の色成分値を持った画素が存在せず、第一の補間方法による補間処理を実施することができない場合に、色の境界での補間に適した第二の補間方法による補間処理を行うことができる。すなわち、補間処理対象画素近傍の画素が持つ色成分値に応じて、常に適した補間方法を選択することができ、偽色のない画像を得ることができる。
【０１３３】
また式（２０）の計算には
【０１３４】
【数１６】
2006033333.tif 000016
【０１３５】
即ち、説明変数ｘｉとその平均値の差の２乗の積算値を除数とする除算が含まれている。一般に除算は除数が０に近い時、精度が悪くなり、それが誤差の増大につながる。
【０１３６】
式（２０）において除数が０に近くなるのはすべてのｘｉがある値ｘｏに近い値をとる場合である。また、すべてのｘｉがある値ｘｏに近い値であるかは、ｘｉの最大値と最小値の差が所定の閾値以下かどうかで判断できる。
【０１３７】
したがってＳＴ４１により、説明変数ｘｉの最大値と最小値の差が所定の閾値以下かどうか判断し、最大値と最小値の差が所定の閾値以下の場合は回帰分析を伴わない補間処理（線形補間）を行うことで、誤差の増大を防ぐことができる。
【０１３８】
実施の形態２．
図２２はこの発明の実施の形態２の画素信号処理回路４の構成を示すブロック図である。この画素信号処理回路４は、例えば図１に示す撮像装置の一部として、図２の画素信号処理回路４の代わりに用い得るものである。
図２２に示す画素信号処理回路は、図２の画素信号処理回路と同様の機能を有するものであるが、フレームメモリ１０及びプロセッサ１１の代わりに、フレームメモリ２０、相関判別回路２１、有無判定回路２２、補間演算回路２３、補間演算回路２４を備えている点で異なる。
【０１３９】
フレームメモリ２０は、図２のフレームメモリ１０と同様の機能を有する。
相関判別回路２１では補間処理対象画素を中心に相関の強い方向を判別しその結果を有無判定回路２２に出力する。
有無判定回路２２は後述する方法に従って補間処理対象画素における補間処理を補間演算回路２３で行うか補間演算回路２４で行うかを決定する。
相関判別回路２１と、有無判定回路２２とで、補間処理対象画素を中心として画像の相関の強い方向に、補間しようとする色成分値と同じ色の色成分値を有する画素が存在するかどうかの判定を行う画像特徴判定回路２５が構成されている。
補間演算回路２３及び補間演算回路２４は各々後述する方法で補間処理を行う。そして補間演算回路２３または補間演算回路２４のいずれかで補間により求められた色成分値が補間処理対象画素の位置に対応付けられてフレームメモリ２０に書き込まれる。
【０１４０】
なお、相関判別回路２１が、ステップＳＴ１１、ＳＴ２１、ＳＴ３１と同様の機能をもち、有無判定回路２２がステップＳＴ１２Ａ、ＳＴ１２Ｂ、ＳＴ２２Ａ、ＳＴ２２Ｂ、ＳＴ３２Ａ、ＳＴ３２Ｂと同様の機能をもち、補間演算回路２３がステップＳＴ１３Ａ、ＳＴ１３Ｂ、ＳＴ２３Ａ、ＳＴ２３Ｂ、ＳＴ３３Ａ、ＳＴ３３Ｂと同様の機能をもち、補間演算回路２４がステップＳＴ１４Ａ、ＳＴ１４Ｂ、ＳＴ２４Ａ、ＳＴ２４Ｂ、ＳＴ３４Ａ、ＳＴ３４Ｂと同様の機能をもつ。
【０１４１】
以下に実施の形態２の画素信号処理回路４で行われる不足色成分値の補間処理について述べる。不足色成分値の補間には、
（Ｐ１）  Ｒ画素及びＢ画素におけるＧ成分値を求める処理、
（Ｐ２）  Ｇ画素におけるＲ成分値及びＢ成分値を求める処理、
（Ｐ３）  Ｂ画素におけるＲ成分値を求める処理、及び
（Ｐ４）  Ｒ画素におけるＢ成分値を求める処理
が含まれ、例えば上に記載の順で行われる。
【０１４２】
最初に、上記（Ｐ１）の、Ｒ画素におけるＧ成分値の補間処理について図８を参照して説明する。図８はフレームメモリ２０に書き込まれている各画素の持つ色成分値のうち、Ｒ画素（Ｒ３３）におけるＧ成分値の補間の際に利用される画素の色成分値を模式的に表しており、各記号の意味は実施の形態１と同様である。
【０１４３】
まず、相関判別回路２１が、フレームメモリ２０から、Ｇ画素Ｇ２３、Ｇ４３、Ｇ３２、Ｇ３４の持つＧ成分値Ｇ２３、Ｇ４３、Ｇ３２、Ｇ３４を読み出し、下記の式（２１）によりｄＨ、ｄＶを計算する。
【０１４４】
ｄＨ＝｜Ｇ２３−Ｇ４３｜
ｄＶ＝｜Ｇ３２−Ｇ３４｜
…（２１）
【０１４５】
次にｄＨ、ｄＶの大小関係に応じて、補間処理対象画素を中心として相関の強い方向が判別され、その結果を示す信号（判別結果信号）が、有無判定回路２２に出力される。即ち、相関判別回路２１から出力される判別結果信号は、ｄＨ＜ｄＶのときは水平方向の相関が強いことを示すものとなり、それ以外のときは垂直方向の相関が強いことを示すものとなる。なお、ｄＨ、ｄＶを求める式は式（２１）に限定されない。
【０１４６】
有無判定回路２２は、フレームメモリ２０に記憶されている色成分値を調べ、補間処理対象画素Ｒ３３を中心に相関の強い方向にＧ成分値を持つ画素が存在するかしないかを判断する。そして、補間処理対象画素Ｒ３３を中心に相関の強い方向にＧ成分値を持つ画素が存在する場合は補間演算回路２３に、存在しない場合は補間演算回路２４に補間を実施させる。
【０１４７】
まず、相関判別回路２１において水平方向に相関が強いと判別された場合の補間について述べる。
図８に示される例では、Ｒ画素Ｒ３３を中心とした水平方向にはＧ成分値を持つ画素が存在するので、有無判定回路２２は補間演算回路２３に補間を実施させる。
【０１４８】
補間演算回路２３は、フレームメモリ２０から、Ｇ画素Ｇ２３、Ｇ４３のＧ色成分値Ｇ２３、Ｇ４３及びＲ画素Ｒ３３、Ｒ１３、Ｒ５３のＲ色成分値Ｒ３３、Ｒ１３、Ｒ５３を読み出し、下記の式（２２）により、補間処理対象画素Ｒ３３におけるＧ成分値ｇ３３を計算する。
【０１４９】
【数１７】
2006033333.tif 000017
【０１５０】
そして式（２２）で計算されたＧ成分値ｇ３３は、補間演算回路２３から出力され、補間処理対象画素Ｒ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０１５１】
以上が相関判別回路２１で水平方向に相関が強いと判別されたときの補間処理である。次に、相関判別回路２１において垂直方向に相関が強いと判別されたときの動作について述べる。
【０１５２】
図８に示される例では、Ｒ画素Ｒ３３を中心とした垂直方向にはＧ成分値を持つ画素が存在するので、有無判定回路２２は補間演算回路２３に補間を実施させる。
【０１５３】
補間演算回路２３は、Ｇ画素Ｇ３２、Ｇ３４のＧ色成分値Ｇ３２、Ｇ３４及びＲ画素Ｒ３３、Ｒ３１、Ｒ３５のＲ成分値Ｒ３３、Ｒ３１、Ｒ３５をフレームメモリ２０より読み出し、下記の式（２３）により、補間処理対象画素Ｒ３３におけるＧ成分値ｇ３３を補間する。
【０１５４】
【数１８】
2006033333.tif 000018
【０１５５】
そして式（２３）で求められたＧ成分値ｇ３３が補間演算回路２３から出力され、補間処理対象画素Ｒ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０１５６】
以上が相関判別回路２１で垂直方向に相関が強いと判別された時の補間処理である。以上の補間処理がすべてのＲ画素に対して実行され、Ｒ画素におけるＧ成分値が補間により求められる。次にＢ画素におけるＧ成分値の補間について述べる。
【０１５７】
図９は、フレームメモリ２０に書き込まれている各画素の持つ色成分値のうち、Ｂ画素（Ｂ３３）におけるＧ成分値の補間の際に利用される画素の色成分値を模式的に表しており、各記号の意味は実施の形態１と同様である。図９を図８と比較すれば明らかなように、図８と図９とでは、Ｒ画素とＢ画素及び各々の持つ色成分値が入れ替わっただけである。従って、Ｂ画素におけるＧ成分値の補間は、以上に説明したＲ画素におけるＧ成分値の補間のＲとＢを入れ替える以外は同様に行うことができる。
【０１５８】
以上の補間処理によりＲ画素、Ｂ画素におけるＧ成分値の補間が行われると、フレームメモリ２０に書き込まれている各画素の色成分値は図１０に模式的に示されるようになる。なお、図１０中の大文字Ｒ、Ｇ、Ｂは各々の画素が持つ色成分値のうち、固体撮像素子２により与えられるＲ成分値、Ｇ成分値、Ｂ成分値を表し、小文字ｇは補間処理によって得られたＧ成分値を表す。
【０１５９】
次に上記（Ｐ２）の、Ｇ画素におけるＲ成分値、Ｂ成分値の補間処理について説明する。ベイヤ配列においては、先に図３、図１１を参照して説明したように、補間処理対象画素となるＧ画素が奇数行に属するものであるか、偶数行に属するものであるかによって、補間処理対象画素に対して水平方向及び垂直方向に整列した画素の色が異なる。
【０１６０】
図１２はフレームメモリ２０に書き込まれている各画素の持つ色成分値のうち、奇数行にあるＧ画素Ｇ３３におけるＲ成分値及びＢ成分値の補間の際に利用される画素の色成分値を模式的に表しており、各記号の意味は実施の形態１と同様である。
まず、奇数行のＧ画素におけるＲ成分値の補間について説明する。
【０１６１】
まず、相関判別回路２１が、フレームメモリ２０からＢ画素Ｂ２３、Ｂ４３のＧ成分値ｇ２３、ｇ４３及びＲ画素Ｒ３２、Ｒ３４のＧ成分値ｇ３２、ｇ３４を読み出し、下記の式（２４）によりｄＨ、ｄＶを計算する。
【０１６２】
ｄＨ＝｜ｇ２３−ｇ４３｜
ｄＶ＝｜ｇ３２−ｇ３４｜
…（２４）
【０１６３】
次にｄＨ、ｄＶの大小関係に応じて、補間処理対象画素を中心として相関の強い方向が判別され、その結果を示す信号（判別結果信号）が、有無判定回路２２に出力される。即ち、相関判別回路２１から出力される判別結果信号は、ｄＨ＜ｄＶのときは水平方向の相関が強いことを示すものとなり、それ以外のときは垂直方向の相関が強いことを示すものとなる。なお、ｄＨ、ｄＶを求める式は式（２４）に限定されない。
【０１６４】
有無判定回路２２は、フレームメモリ２０に記憶されている色成分値を調べ、補間処理対象画素Ｇ３３を中心に相関の強い方向にＲ成分値を持つ画素が存在するかしないかを判断する。そして、補間処理対象画素Ｇ３３を中心に相関の強い方向にＲ成分値を持つ画素が存在する場合は補間演算回路２３に、存在しない場合は補間演算回路２４に補間を実施させる。
【０１６５】
まず、相関判別回路２１において水平方向に相関が強いと判別された場合の補間について述べる。
【０１６６】
図１２に示される例では、Ｇ画素Ｇ３３を中心とした水平方向にはＲ成分値を持つ画素が存在しないので、有無判定回路２２は補間演算回路２４に補間を実施させる。
【０１６７】
次に、補間演算回路２４で実施される補間方法について図２３及び図１２を参照して説明する。図２３は図２２の補間演算回路２４の内部構成を表すブロック図であり、補間処演算回路２４は、複数の画素の色成分値を記憶することができるメモリ３０と、複数の画素の色成分値の最大値を求めることのできる最大値判定回路３１と、複数の画素の色成分値の最小値を求めることのできる最小値判定回路３２と、二つの数値の差が所定の閾値以下か調べる比較回路３３と、後述する補間処理を実施する線形補間回路３５及び回帰分析補間回路３６と、補間選択回路３４とを有する。
補間選択回路３４は、後述のように線形補間回路３５または回帰分析補間回路３６のいずれか一方に補間を選択的に実施させる。
補間選択回路３４がステップＳＴ４１と同様の機能を持ち、線形補間回路３５がステップＳＴ４２と同様の機能を持ち、回帰分析補間回路３６がステップＳＴ４３、ステップＳＴ４４と同様の機能を持つ。
【０１６８】
まず補間演算回路２４により、フレームメモリ２０から
Ｒ画素Ｒ１２のＧ成分値ｇ１２とＲ成分値Ｒ１２、
Ｒ画素Ｒ３２のＧ成分値ｇ３２とＲ成分値Ｒ３２、
Ｒ画素Ｒ５２のＧ成分値ｇ５２とＲ成分値Ｒ５２、
Ｒ画素Ｒ１４のＧ成分値ｇ１４とＲ成分値Ｒ１４、
Ｒ画素Ｒ３４のＧ成分値ｇ３４とＲ成分値Ｒ３４、
Ｒ画素Ｒ５４のＧ成分値ｇ５４とＲ成分値Ｒ５４及び補間処理対象画素Ｇ３３のＧ成分値Ｇ３３が読み出される。そしてメモリ３０に、下記の式（２５）に示される二次元座標データ及び補間処理対象画素Ｇ３３のＧ成分値Ｇ３３が書き込まれる。
【０１６９】
（ｘ１，ｙ１）＝（ｇ１２，Ｒ１２）
（ｘ２，ｙ２）＝（ｇ３２，Ｒ３２）
（ｘ３，ｙ３）＝（ｇ５２，Ｒ５２）
（ｘ４，ｙ４）＝（ｇ１４，Ｒ１４）
（ｘ５，ｙ５）＝（ｇ３４，Ｒ３４）
（ｘ６，ｙ６）＝（ｇ５４，Ｒ５４）
…（２５）
【０１７０】
次に最大値判定回路３１において上記ｘｉ（ｉ＝１〜６）の最大値が、最小値判定回路３２において上記ｘｉ（ｉ＝１〜６）の最小値が求められ、それぞれ比較回路３３に出力される。比較回路３３では最大値と最小値の差が所定の閾値以下であるか調べ、その結果を補間選択回路３４に出力する。
【０１７１】
補間選択回路３４は比較回路３３からの入力に応じて線形補間回路３５、回帰分析補間回路３６いずれか一方に補間処理を行わせる。最大値と最小値の差が所定の閾値以下であるときは線形補間回路３５で、そうでないときは回帰分析補間回路３６で補間処理を行う。
【０１７２】
線形補間回路３５では線形補間により補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３を計算する。すなわち、メモリ３０に書き込まれた二次元座標データからＲ画素Ｒ３２のＲ成分値Ｒ３２及びＲ画素Ｒ３４のＲ成分値Ｒ３４が読み出され、下記の式（２６）により補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３が計算される。そしてその値が補間演算回路２４よりフレームメモリ２０に出力され、補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０１７３】
【数１９】
2006033333.tif 000019
【０１７４】
一方、回帰線分析回路３６では、下記の式（２５）で示される二次元座標データ及び下記の式（２７）に示す数式により直線ｙ＝ａ×ｘ＋ｂの傾きａ及びｙ切片ｂが求められる。
【０１７５】
【数２０】
2006033333.tif 000020
【０１７６】
次に回帰分析補間回路３６は、メモリ３０から補間処理対象画素Ｇ３３におけるＧ成分値Ｇ３３を読み出し、直線ｙ＝ａ×ｘ＋ｂとＧ成分値Ｇ３３を用いた下記の式（２８）により、補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３を計算する。そして式（２８）で求められたＲ成分値ｒ３３が補間演算回路２４よりフレームメモリ２０に出力され、補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０１７７】
ｒ３３＝ａ×Ｇ３３＋ｂ
…（２８）
【０１７８】
以上が補間処理対象画素Ｇ３３を中心に水平方向に相関が強い時の補間処理である。次に補間処理対象画素Ｇ３３を中心に垂直方向に相関が強い時の補間処理について述べる。
【０１７９】
図１２から明らかなように、Ｇ画素を中心とした垂直方向にはＲ成分値を持つ画素が存在するので、有無判定回路２２は補間演算回路２３に補間を実施させる。補間演算回路２３はフレームメモリ２０からＲ画素Ｒ３２、Ｒ３４のＲ成分値Ｒ３２、Ｒ３４及びＧ成分値ｇ３２、ｇ３４と補間処理対象画素Ｇ３３のＧ成分値Ｇ３３を読み出し、下記の式（２９）により、補間処理対象画素Ｇ３３におけるＲ成分値ｒ３３を計算し、フレームメモリ２０に出力する。フレームメモリ２０は補間処理対象画素Ｇ３３の位置に対応づけてＲ色成分値ｒ３３を書き込む。
【０１８０】
【数２１】
2006033333.tif 000021
【０１８１】
以上が奇数行のＧ画素におけるＲ成分値の補間である。以上の処理が全ての奇数行のＧ画素に対して行われ、奇数行のＧ画素におけるＲ成分値が補間により求められる。次に奇数行のＧ画素におけるＢ成分値の補間について図２２及び図１２を参照して説明する。
【０１８２】
まず、相関判別回路２１がフレームメモリ２０より、Ｂ画素Ｂ２３、Ｂ４３のＧ成分値ｇ２３、ｇ４３及びＲ画素Ｒ３２、Ｒ３４のＧ成分値ｇ３２、ｇ３４を読み出し、下記の式（３０）で表されるｄＨ、ｄＶを計算する。
【０１８３】
ｄＨ＝｜ｇ２３−ｇ４３｜
ｄＶ＝｜ｇ３２−ｇ３４｜
…（３０）
【０１８４】
次にｄＨ、ｄＶの大小関係に応じて、補間処理対象画素Ｇ３３を中心として相関の強い方向が判別され、その結果を示す信号（判別結果信号）が、有無判定回路２２に出力される。即ち、相関判別回路２１から出力される判別結果信号は、ｄＨ＜ｄＶのときは水平方向の相関が強いことを示すものとなり、それ以外のときは垂直方向の相関が強いことを示すものとなる。なお、ｄＨ、ｄＶを求める式は式（３０）に限定されない。
【０１８５】
有無判定回路２２は、フレームメモリ２０に記憶されている色成分値を調べ、補間処理対象画素Ｇ３３を中心に相関の強い方向にＢ成分値を持つ画素が存在するかしないかを判断する。そして、補間処理対象画素Ｇ３３を中心に相関の強い方向にＢ成分値を持つ画素が存在する場合は補間演算回路２３に、存在しない場合は補間演算回路２４に補間を実施させる。
【０１８６】
まず、相関判別回路２１において水平方向に相関が強いと判別された場合の補間について述べる。
図１２に示される例では、Ｇ画素を中心とした水平方向にはＢ成分値を持つ画素が存在するので、この場合補間演算回路２３で補間が行われる。
【０１８７】
補間演算回路２３は、フレームメモリ２０から、Ｂ画素Ｂ２３、Ｂ４３のＢ成分値Ｂ２３、Ｂ４３及びＧ成分値ｇ２３、ｇ４３及び補間処理対象画素Ｇ３３のＧ成分値Ｇ３３を読み出し、下記の式（３１）により補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３を計算し、フレームメモリ２０に対して出力する。そして補間により求められたＢ成分値ｂ３３が補間処理対象画素Ｇ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０１８８】
【数２２】
2006033333.tif 000022
【０１８９】
以上が相関判別回路２１において水平方向に相関が強いと判別されたときの補間処理である。次に相関判別回路２１において垂直方向に相関が強いと判別されたときの補間処理について述べる。
【０１９０】
まず、有無判定回路２２で補間処理対象画素Ｇ３３を中心に相関の強い方向（すなわち垂直方向）にＢ成分値を持つ画素が存在するか調べられ、その結果、補間演算回路２３、補間演算回路２４いずれかで補間処理が行われる。図１２から明らかなように、Ｇ画素を中心とした垂直方向にはＢ成分値を持つ画素が存在しないので、この場合補間演算回路２４によって補間処理が実施される。
【０１９１】
次に補間演算回路２４によって実施される補間処理を、図２３及び図１２を参照して説明する。
【０１９２】
まず補間演算回路２４によりフレームメモリ２０から
Ｂ画素Ｂ２１のＧ成分値ｇ２１とＢ成分値Ｂ２１、
Ｂ画素Ｂ２３のＧ成分値ｇ２３とＢ成分値Ｂ２３、
Ｂ画素Ｂ２５のＧ成分値ｇ２５とＢ成分値Ｂ２５、
Ｂ画素Ｂ４１のＧ成分値ｇ４１とＢ成分値Ｂ４１、
Ｂ画素Ｂ４３のＧ成分値ｇ４３とＢ成分値Ｂ４３、
Ｂ画素Ｂ４５のＧ成分値ｇ４５とＢ成分値Ｂ４５、及び
補間処理対象画素Ｇ３３のＧ成分値Ｇ３３が読み出される。そしてメモリ３０に、下記の式（３２）に示される二次元座標データ及び補間処理対象画素Ｇ３３のＧ成分値Ｇ３３が書き込まれる。
【０１９３】
（ｘ１，ｙ１）＝（ｇ２１，Ｂ２１）
（ｘ２，ｙ２）＝（ｇ４１，Ｂ４１）
（ｘ３，ｙ３）＝（ｇ２３，Ｂ２３）
（ｘ４，ｙ４）＝（ｇ４３，Ｂ４３）
（ｘ５，ｙ５）＝（ｇ２５，Ｂ２５）
（ｘ６，ｙ６）＝（ｇ４５，Ｂ４５）
…（３２）
【０１９４】
次に最大値判定回路３１、最小値判定回路３２によってそれぞれ上記ｘｉ（ｉ＝１〜６）の最大値と最小値が調べられ、比較回路３３に出力される。
【０１９５】
比較回路３３では最大値と最小値の差が閾値以下かどうか調べられ、その結果が補間選択回路３４に出力される。
【０１９６】
補間選択回路３４では最大値と最小値の差が閾値以下の場合は線形補間回路３５での補間処理を、そうでないときは回帰分析補間回路３６での補間処理を選択する。
【０１９７】
線形補間回路３５では線形補間により補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３を計算する。すなわち、メモリ３０に書き込まれた二次元座標データからＢ画素Ｂ２３のＢ成分値Ｂ２３及びＢ画素Ｂ４３のＢ成分値Ｂ４３が読み出され、下記の式（３３）により補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３が計算され、補間演算回路２４よりフレームメモリ２０に出力され、補間処理対象画素Ｇ３３の位置に対応付けられてフレームメモリ２０に書き込まれる。
【０１９８】
【数２３】
2006033333.tif 000023
【０１９９】
また、回帰分析補間回路３６では、まず式（３２）で示される二次元座標データ及び下記の式（３４）に示す計算により直線ｙ＝ａ×ｘ＋ｂの傾きａ及びｙ切片ｂが求められる。
【０２００】
【数２４】
2006033333.tif 000024
【０２０１】
次に回帰分析補間回路３６は、メモリ３０から補間処理対象画素Ｇ３３におけるＧ成分値Ｇ３３を読み出し、直線ｙ＝ａ×ｘ＋ｂとＧ成分値Ｇ３３を用いた下記の式（３５）により、補間処理対象画素Ｇ３３におけるＢ成分値ｂ３３を計算する。そして式（３５）で求められたＢ成分値ｂ３３が補間演算回路２４よりフレームメモリ２０に出力され、補間処理対象画素Ｇ３３の位置に対応付けられてフレームメモリ２０に書き込まれる。
【０２０２】
ｂ３３＝ａ×Ｇ３３＋ｂ
…（３５）
【０２０３】
以上が垂直方向に相関が強いと判別された時の、奇数行のＧ画素におけるＢ成分値の補間処理である。以上の処理が全ての奇数行のＧ画素に対して行われ、奇数行のＧ画素におけるＢ成分値が補間により求められる。その結果、全ての奇数行のＧ画素に対してＲ成分値及びＢ成分値が求められたことになる。次に偶数行のＧ画素におけるＲ成分値、Ｂ成分値の補間について図１３を参照して説明する。
図１３はフレームメモリ２０に書き込まれている各画素の持つ色成分値のうち、偶数行にあるＧ画素Ｇ３３におけるＲ成分値及びＢ成分値の補間の際に利用される画素の色成分値を模式的に表しており、各記号の意味は実施の形態１と同様である。
【０２０４】
図１３を図１２と比較すれば明らかなように、図１３（偶数行のＧ画素を中心に見た場合）と図１２（奇数行のＧ画素を中心に見た場合）とでは、Ｒ画素とＢ画素（及びこれらの成分値）が入れ替わっただけである。従って、Ｂ画素におけるＧ成分値の補間は、以上に説明したＲ画素におけるＧ成分値の補間のＲとＢを入れ替える以外は同様に行うことができる。
したがって偶数行のＧ画素におけるＲ成分値の補間としては、上述の奇数行のＧ画素におけるＢ成分値の補間の説明において、ＢをＲで置き換えたものを実行すれば良い。同様に、偶数行のＧ画素におけるＢ成分値の補間としては、上述の奇数行のＧ画素におけるＲ成分値の補間の説明において、ＲをＢで置き換えたものを実行すれば良い。
以上の補間処理により全てのＧ画素に対してＲ成分値、Ｂ成分値の補間が行われると、フレームメモリ２０に書き込まれている各画素の色成分値は図１４に示されるようになる。
なお、図１４中の大文字Ｒ、Ｇ、Ｂは各々の画素が持つ色成分値のうち、固体撮像素子２により与えられるＲ成分値、Ｇ成分値、Ｂ成分値を表し、小文字ｒ、ｇ、ｂは補間処理によって得られたＲ成分値、Ｇ成分値、Ｂ成分値を表す。
【０２０５】
次に上記（Ｐ３）の、Ｂ画素におけるＲ成分値の補間について図２２及び図１５を参照して説明する。
【０２０６】
図１５はフレームメモリ２０に書き込まれている各画素の持つ色成分値のうち、Ｂ画素Ｂ３３におけるＲ成分値の補間の際に利用される画素の色成分値を模式的に表しており、各記号の意味は実施の形態１と同様である。
【０２０７】
まず、相関判別回路２１が、フレームメモリ２０から、Ｇ画素Ｇ２３、Ｇ４３、Ｇ３２、Ｇ３４の持つＧ成分値Ｇ２３、Ｇ４３、Ｇ３２、Ｇ３４を読み出し、下記の式（３６）によりｄＨ、ｄＶを計算する。
【０２０８】
ｄＨ＝｜Ｇ２３−Ｇ４３｜
ｄＶ＝｜Ｇ３２−Ｇ３４｜
…（３６）
【０２０９】
次にｄＨ、ｄＶの大小関係に応じて、補間処理対象画素Ｂ３３を中心として相関の強い方向が判別され、その結果を示す信号（判別結果信号）が、有無判定回路２２に出力される。即ち、相関判別回路２１から出力される判別結果信号は、ｄＨ＜ｄＶのときは水平方向の相関が強いことを示すものとなり、それ以外のときは垂直方向の相関が強いことを示すものとなる。なお、ｄＨ、ｄＶを求める式は式（３６）に限定されない。
【０２１０】
有無判定回路２２は、フレームメモリ２０に記憶されている色成分値を調べ、補間処理対象画素Ｂ３３を中心に相関の強い方向にＲ成分値を持つ画素が存在するかしないかを判断する。そして、そして、補間処理対象画素Ｂ３３を中心に相関の強い方向にＲ成分値を持つ画素が存在する場合は補間演算回路２３に、存在しない場合は補間演算回路２４に補間を実施させる。
【０２１１】
まず、相関判別回路２１において水平方向に相関が強いと判別されたときの補間処理について述べる。
図１５に示される例では、Ｂ画素Ｂ３３を中心とした水平方向にはＲ成分値を持つ画素が存在するので、有無判定回路２２は補間演算回路２３に補間を実施させる。
【０２１２】
補間演算回路２３は、フレームメモリ２０から、Ｇ画素Ｇ２３、Ｇ４３のＲ成分値ｒ２３、ｒ４３及びＧ成分値Ｇ２３、Ｇ４３と補間処理対象画素Ｂ３３のＧ成分値ｇ３３を読み出し、下記の式（３７）により、補間処理対象画素Ｂ３３におけるＲ成分値ｒ３３を計算し、フレームメモリ２０に対し出力する。そして出力されたＲ成分値ｒ３３が補間処理対象画素Ｂ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０２１３】
【数２５】
2006033333.tif 000025
【０２１４】
以上が相関判別回路２１で水平方向に相関が強いと判別されたときの補間処理である。
次に相関判別回路２１において垂直方向に相関が強いと判別されたときの補間処理について述べる。
【０２１５】
図１５に示される例では、補間処理対象画素Ｂ３３を中心とした垂直方向にはＲ成分値を持つ画素が存在するので、有無判定回路２２は補間演算回路２３で補間処理を実施させる。
補間演算回路２３は、フレームメモリ２０から、Ｇ画素Ｇ３２、Ｇ３４のＲ成分値ｒ３２、ｒ３４及びＧ成分値Ｇ３２、Ｇ３４と補間処理対象画素Ｂ３３のＧ成分値ｇ３３を読み出し、下記の式（３８）により、補間処理対象画素Ｂ３３におけるＲ成分値ｒ３３を計算する。
【０２１６】
【数２６】
2006033333.tif 000026
【０２１７】
そして式（３８）で計算されたＲ成分値ｒ３３は、補間演算回路２３から出力され、補間処理対象画素Ｒ３３の位置に対応づけられてフレームメモリ２０に書き込まれる。
【０２１８】
以上の処理がすべてのＢ画素に対して行われ、Ｂ画素におけるＲ成分値が補間により求められる。
次に上記（Ｐ４）の、Ｒ画素におけるＢ成分値の補間について述べる。
【０２１９】
図１６はフレームメモリ２０に書き込まれている各画素の持つ色成分値のうち、Ｒ画素Ｒ３３におけるＢ成分値の補間の際に利用される画素の色成分値を模式的に表しており、各記号の意味は実施の形態１と同様である。
図１６を図１５と比較すると明らかなように、色成分の分布はＲ成分とＢ成分を入れ替えただけである。すなわち、図１６と図１５はＲとＢおよびｒとｂが入れ替わった以外は同様である。
【０２２０】
したがって、Ｒ画素におけるＢ成分値の補間は、上述のＢ画素におけるＲ成分値の補間とＲとＢおよびｒとｂが入れ替わる以外は同様に行われる。
【０２２１】
以上によりすべての補間処理が終わり、フレームメモリ２０には図１７に示されるように各画素についてＲ成分値、Ｇ成分値、Ｂ成分値が書き込まれている。したがって、フレームメモリ２０に書き込まれたデータを出力することにより、カラー画像を得ることができる。
なお、図１７において、大文字Ｒ、Ｇ、Ｂは、固体撮像素子２によって与えられたＲ成分値、Ｇ成分値、Ｂ成分値を表し、小文字ｒ、ｇ、ｂは補間処理によって与えられたＲ成分値、Ｇ成分値、Ｂ成分値を表す。
【０２２２】
以上に説明した実施の形態２によれば実施の形態１と同等の補間処理が行える。したがって実施の形態１と同じ効果が得られる。
【０２２３】
以上の説明において撮像装置の構成は図１を用いたが、これに限らず、様々な例が考えられる。たとえば、ホワイトバランス回路を追加したり、画素信号処理回路４からの出力を記録メディアに記録する機能を追加する、等である。
【０２２４】
また、本発明における、回帰線を求めるための二次元座標データの作成の仕方は、実施の形態１、実施の形態２で記述したものに限定されない。
【０２２５】
さらに実施の形態１、実施の形態２における補間処理の対象はベイヤ配列に限られず、複数色の色成分の画素が規則的に配列されていればよい。
【０２２６】
また、画素信号処理回路４の構成は実施の形態１、実施の形態２記載のものに留まらず、例えばフレームメモリ１０、フレームメモリ２０の代わりに必要なライン数のラインメモリを用いた構成などが考えられる。
【図面の簡単な説明】
【０２２７】
【図１】この発明の実施の形態１または実施の形態２の画素信号処理回路を備えた撮像装置を示すブロック図である。
【図２】この発明の実施の形態１の画素信号処理回路の内部構成を表すブロック図である。
【図３】図１の撮像装置の固体撮像素子に設けられたカラーフィルタのベイヤ配列を表す図である。
【図４】図１の画素信号処理回路の補間処理を表すフローチャートである。
【図５】図１の画素信号処理回路の補間処理を表すフローチャートである。
【図６】図１の画素信号処理回路の補間処理を表すフローチャートである。
【図７】図１の画素信号処理回路の補間処理の第二の補間方法で実施される処理を示すフローチャートである。
【図８】Ｒ画素を中心とする画素配列及び各画素の持つ色成分値を表す図である。
【図９】Ｂ画素を中心とする画素配列及び各画素の持つ色成分値を表す図である。
【図１０】Ｒ画素及びＢ画素におけるＧ成分値の補間が終わった状態における画素配列及び各画素の持つ色成分値を表す図である。
【図１１】奇数行にあるＧ画素を中心とするベイヤ配列及び偶数行にあるＧ画素を中心とするベイヤ配列を示す図である。
【図１２】奇数行にあるＧ画素を中心とする画素配列及び各画素の持つ色成分値を表す図である。
【図１３】偶数行にあるＧ画素を中心とする画素配列及び各画素の持つ色成分値を表す図である。
【図１４】Ｒ画素及びＢ画素におけるＧ成分値の補間、及びＧ画素におけるＲ成分値及びＢ成分値の補間が終わった状態における画素配列及び各画素の持つ色成分値を表す図である。
【図１５】図１４と同じ状態における、Ｂ画素を中心とする画素配列及び各画素の持つ色成分値を表す図である。
【図１６】図１４と同じ状態における、Ｒ画素を中心とする画素配列及び各画素の持つ色成分値を表す図である。
【図１７】Ｒ画素及びＢ画素におけるＧ成分値の補間、Ｇ画素におけるＲ成分値及びＢ成分値の補間、Ｂ画素におけるＲ成分値の補間、及びＲ画素におけるＢ成分値の補間が終わった状態における画素配列及び各画素の持つ色成分値を表す図である。
【図１８】第一の補間方法における補間処理の概念を示す図である。
【図１９】第一の補間方法における補間処理の概念を示す図である。
【図２０】回帰分析による補間処理の概念を説明するための図である。
【図２１】回帰分析による補間処理の概念を説明するための図である。
【図２２】この発明の実施の形態２の画素信号処理回路の内部構成を表すブロック図である。
【図２３】図２２の補間演算回路の内部構成を表すブロック図である。
【符号の説明】
【０２２８】
４  画素信号処理回路、  １０  フレームメモリ、  １１  プロセッサ、  ２０  フレームメモリ、  ２１  相関判別回路（相関判別手段）、  ２２  有無判定回路（補間方法を選択する手段）、  ２３  補間演算回路（第一の補間手段）、  ２４  補間演算回路（第二の補間手段）、  ２５  画像特徴判定回路（画像特徴判定手段）、  ＳＴ１１  相関判別ステップ、  ＳＴ１２Ａ  相関の強い方向における不足色の色成分値の有無を判定するステップ、  ＳＴ１３Ａ  第一の補間ステップ、  ＳＴ１４Ａ  第二の補間ステップ、  ＳＴ１２Ｂ  相関の強い方向における不足色の色成分値の有無を判定するステップ、  ＳＴ１３Ｂ  第一の補間ステップ、  ＳＴ１４Ｂ  第二の補間ステップ、  ＳＴ２１  相関判別ステップ、  ＳＴ２２Ａ  相関の強い方向における不足色の色成分値の有無を判定するステップ、  ＳＴ２３Ａ  第一の補間ステップ、  ＳＴ２４Ａ  第二の補間ステップ、  ＳＴ２２Ｂ  相関の強い方向における不足色の色成分値の有無を判定するステップ、  ＳＴ２３Ｂ  第一の補間ステップ、  ＳＴ２４Ｂ  第二の補間ステップ、  ＳＴ３１  相関判別ステップ、  ＳＴ３２Ａ  相関の強い方向における不足色の色成分値の有無を判定するステップ、  ＳＴ３３Ａ  第一の補間ステップ、  ＳＴ３４Ａ  第二の補間ステップ、  ＳＴ３２Ｂ  相関の強い方向における不足色の色成分値の有無を判定するステップ、  ＳＴ３３Ｂ  第一の補間ステップ、  ＳＴ３４Ｂ  第二の補間ステップ。
【図１】
2006033333.tif 000029
【図２】
2006033333.tif 000030
【図３】
2006033333.tif 000031
【図４】
2006033333.tif 000032
【図５】
2006033333.tif 000033
【図６】
2006033333.tif 000034
【図７】
2006033333.tif 000035
【図８】
2006033333.tif 000036
【図９】
2006033333.tif 000037
【図１０】
2006033333.tif 000038
【図１１】
2006033333.tif 000039
【図１２】
2006033333.tif 000040
【図１３】
2006033333.tif 000041
【図１４】
2006033333.tif 000042
【図１５】
2006033333.tif 000043
【図１６】
2006033333.tif 000044
【図１７】
2006033333.tif 000045
【図１８】
2006033333.tif 000046
【図１９】
2006033333.tif 000047
【図２０】
2006033333.tif 000048
【図２１】
2006033333.tif 000049
【図２２】
2006033333.tif 000050
【図２３】
2006033333.tif 000051