(57)【要約】【課題】  例えばベイヤ型に配列された複数の画素の色成分値に基づき、注目画素位置における不足色の色成分値を補間により生成するに当たり、互いに異なる色成分値相互間に負の相関関係がある場合でも白抜けや黒ずみなどが生じないようにする。【解決手段】  注目画素位置において色成分値が既知の色の第１群の選択画素の平均値Ｋａを算出し（５）、不足色の色成分値を有し、注目画素と第１群の選択画素とを結ぶ線の方向に位置し、かつ、注目画素からの距離がｆ倍の位置にある画素の不足色の色成分値の平均値Ｌａを算出し（６）、既知色の色成分値と不足色の色成分値との相関関係が正か負かを判定し（７）、注目画素の画素値とＫａの差ｄＫとを用い、相関関係が正の場合には、Ｌａ＋ｄＫ×ｆ、負の場合にはＬａ−ｄＫ×ｆにより、注目画素位置における不足色の色成分値を生成する（８）。【選択図】        図１ 
2005210274.tif 000002
【特許請求の範囲】
【請求項１】
２次元平面上に配列され、各々が第１乃至第Ｎの色成分値のうちのいずれか１つを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づき、第Ｋ（Ｋは１からＮのうちのいずれか一つ）の色成分値を有する注目画素位置における第Ｌ（ＬはＫを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
上記注目画素の周辺の画素のうち、第Ｋの色成分値を有する複数の画素を第１の選択画素群の画素として選択し、該第１の選択画素群の画素の第Ｋの色成分値の平均値を第１の平均値として算出する第１の平均値算出ステップと、
上記注目画素の周辺の画素のうち、第Ｌの色成分値を有し、上記第１の選択画素群の画素と同数で、上記注目画素と上記第１の選択画素群の画素とを結ぶ線の方向に位置し、かつ、上記注目画素から、上記第１の選択画素群の画素までの距離に対して、所定の係数ｆを掛けることにより得られる距離に位置する画素の第Ｌの色成分値の平均値を第２の平均値として算出する第２の平均値算出ステップと、
上記注目画素の近傍の領域内に位置する画素の上記第Ｋの色成分値と上記第Ｌの色成分値との相関関係が、正の相関と負の相関のどちらであるかを判定する相関関係判定ステップと、
上記注目画素の第Ｋの色成分値と上記第１の平均値の差と、上記係数ｆと、上記第２の平均値と、上記相関関係判定ステップの判定結果に基づき、上記注目画素の位置における第Ｌの色成分値を生成する信号生成ステップと
を有することを特徴とする画素信号処理方法。
【請求項２】
上記相関関係判定ステップは、
上記注目画素の近傍の領域内の画素の第Ｋの色成分値と第Ｌの色成分値とに対して回帰分析を施すことによって得られた回帰直線の傾きが正の場合には正の相関、負の場合には負の相関であると判定する上記相関関係を判定することを特徴とする請求項１に記載の画素信号処理方法。
【請求項３】
上記相関関係判定ステップは、
上記注目画素とその周辺の画素の位置において、第Ｋの色成分値に対応するローパスフィルタ値である第Ｋのローパスフィルタ値と、第Ｌの色成分値に対応するローパスフィルタ値である第Ｌのローパスフィルタ値を算出し、
上記第Ｋのローパスフィルタ値及び上記第Ｌのローパスフィルタ値の一方を説明変数、他方を目的変数として、回帰分析を施し、上記第Ｋと第Ｌのローパスフィルタ値の相関を表す回帰直線の傾きを算出する
ことを特徴とする請求項２に記載の画素信号処理方法。
【請求項４】
上記相関関係判定ステップは、上記回帰直線の傾きａを
【数１】
2005210274.tif 000003
（ここで、ｅ（ｉ）は、説明変数として用いられている色成分値、
ｐ（ｉ）は、目的変数として用いられている色成分値であり、
ｉ＝１〜Ｍ、
Ｍは回帰分析に用いられる第Ｋのローパスフィルタ値の総数である。）
により算出することを特徴とする請求項３に記載の画素信号処理方法。
【請求項５】
上記信号生成ステップは、
上記相関関係判定ステップの判定結果が正の相関の場合には、上記差に上記係数ｆを乗じた値を上記第２の平均値に加算し、上記相関関係判定ステップの判定結果が負の相関の場合には上記差に上記係数ｆを乗じた値を上記第２の平均値から減算することで、
上記注目画素の位置における第Ｌの色成分値を生成することを特徴とする請求項１乃至４のいずれかにに記載の画素信号処理方法。
【請求項６】
各々が第１乃至第Ｎの色成分値のうちの一つを発生する第１乃至第Ｎ種類の光電変換素子が２次元平面上に配列された撮像素子の、上記光電変換素子の各々から得られる信号が上記画素信号の組の少なくとも一部として用いられることを特徴とする請求項１に記載の画素信号処理方法。
【請求項７】
２次元平面上に配列され、各々が第１乃至第Ｎの色成分値のうちのいずれか１つを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づき、第Ｋ（Ｋは１からＮのうちのいずれか一つ）の色成分値を有する注目画素位置における第Ｌ（ＬはＫを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理装置において、
上記注目画素の周辺の画素のうち、第Ｋの色成分値を有する複数の画素を第１の選択画素群の画素として選択し、該第１の選択画素群の画素の第Ｋの色成分値の平均値を第１の平均値として算出する第１の平均値算出手段と、
上記注目画素の周辺画素のうち、第Ｌの色成分値を有し、上記第１の選択画素群の画素と同数で、上記注目画素と上記第１の選択画素群の画素とを結ぶ線の方向に位置し、かつ、上記注目画素から、上記第１の選択画素群の画素までの距離に対して、所定の係数ｆを掛けることにより得られる距離に位置する画素の第Ｌの色成分値の平均値を第２の平均値として算出する第２の平均値算出手段と、
上記注目画素の近傍の領域内に位置する画素の上記第Ｋの色成分値と上記第Ｌの色成分値との相関関係が、正の相関と負の相関のどちらであるかを判定する相関関係判定手段と、
上記注目画素の第Ｋの色成分値と上記第１の平均値の差と、上記係数ｆと、上記第２の平均値と、上記相関関係判定手段の判定結果に基づき、上記注目画素の位置における第Ｌの色成分値を生成する信号生成手段と
を有することを特徴とする画素信号処理装置。
【請求項８】
上記相関関係判定手段は、
上記注目画素の近傍の領域内の画素の第Ｋの色成分値と第Ｌの色成分値とに対して回帰分析を施すことによって得られた回帰直線の傾きが正の場合には正の相関、負の場合には負の相関であると判定する
ことを特徴とする請求項７に記載の画素信号処理装置。
【請求項９】
上記相関関係判定手段は、
上記注目画素と周辺画素の位置において、第Ｋの色成分値に対応するローパスフィルタ値である第Ｋのローパスフィルタ値と、第Ｌの色成分値に対応するローパスフィルタ値である第Ｌのローパスフィルタ値を算出し、
上記第Ｋのローパスフィルタ値及び上記第Ｌのローパスフィルタ値の一方を説明変数、他方を目的変数として、回帰分析を施し、上記第Ｋと第Ｌのローパスフィルタ値の相関を表す回帰直線の傾きを算出する
ことを特徴とする請求項８に記載の画素信号処理装置。
【請求項１０】
上記相関関係判定手段は、上記回帰直線の傾きａを
【数２】
2005210274.tif 000004
（ここで、ｅ（ｉ）は、説明変数として用いられている色成分値、
ｐ（ｉ）は、目的変数として用いられている色成分値であり、
ｉ＝１〜Ｍ、
Ｍは回帰分析に用いられる第Ｋのローパスフィルタ値の総数である。）
により算出することを特徴とする請求項９に記載の画素信号処理装置。
【請求項１１】
上記信号生成手段は、
上記相関関係判定手段の判定結果が正の相関の場合には、上記差に上記係数ｆを乗じた値を上記第２の平均値に加算し、上記相関関係判定手段の判定結果が負の相関の場合には上記差に上記係数ｆを乗じた値を上記第２の平均値から減算することで、
上記注目画素の位置における第Ｌの色成分値を生成することを特徴とする請求項７乃至１０のいずれかに記載の画素信号処理装置。
【請求項１２】
各々が第１乃至第Ｎの色成分値のうちの一つを発生する第１乃至第Ｎ種類の光電変換素子が２次元平面上に配列された撮像素子をさらに有し、上記光電変換素子の各々から得られる信号が上記画素信号の組の少なくとも一部として用いられることを特徴とする請求項７に記載の画素信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素信号処理装置及び画素信号処理方法に関し、特に２次元平面上に配列され、各々が複数の色成分値のうちのいずれか１つを有する画素信号の組に基づき、上記複数の色成分値のうちの一つの色成分値を有する画素信号が存在する注目画素位置における他の色成分値を生成する画素信号処理方法及び装置に関する。
【０００２】
このような画素信号処は、例えば、各々が複数の色成分（分光感度特性）、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれか一つの色成分値を発生する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるもので、カラー撮像装置の一部として用いられ、撮像素子から出力された画素信号のうちの、各画素位置において欠落している色成分値を補間するために用いられる。
【背景技術】
【０００３】
従来の、赤、緑、青の３原色の色フィルタがベイヤ型に配置された撮像素子を有する撮像装置では、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な出力信号の分布に基づいて各画素の出力信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。
【０００４】
【特許文献１】特開２００１−１９７５１２公報（段落００４８〜００４９、図７）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この従来の方法は、画像の局所的な領域では、色信号間の相関性が高く、ある色の信号が周辺の画素の色成分値の平均値より増加する方向に変化すれば、別の色の信号も平均値より増加する方向に変化し、逆にある色の信号が平均値より減少する方向に変化すれば、別の色の信号も平均値より減少する方向に変化する関係があることを前提としている。
【０００６】
しかし、例えば、青色部分ではＢ色の値が高くＧ色、Ｒ色の値が低く、黄色部分ではＧ及びＲ色色の値が高くＢ色の値が低いので、青色→黄色→青色と変化する画像部分においては、Ｂ色とＧ及びＲ色の間に負の相関関係（一方の出力信号が増加すれば他方の出力信号は減少し、一方の出力信号が減少すれば他方の出力信号は増加する）が発生する。
【０００７】
その結果、本来、平均値よりも減少する方向に変化しているところを、逆に平均値よりも増加する方向に変化していると捉えて算出した値で補間してしまうため、本来の画像中にない偽色が発生してしまう。
【０００８】
本発明は、注目画素及びその周辺画素において、互いに異なる色成分値相互間に負の相関関係がある場合でも白抜けや黒ずみなどの画像劣化が発生することはないようにすることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る画素信号処理方法は、
２次元平面上に配列され、各々が第１乃至第Ｎの色成分値のうちのいずれか１つを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づき、第Ｋ（Ｋは１からＮのうちのいずれか一つ）の色成分値を有する注目画素位置における第Ｌ（ＬはＫを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
上記注目画素の周辺の画素のうち、第Ｋの色成分値を有する複数の画素を第１の選択画素群の画素として選択し、該第１の選択画素群の画素の第Ｋの色成分値の平均値を第１の平均値として算出する第１の平均値算出ステップと、
上記注目画素の周辺の画素のうち、第Ｌの色成分値を有し、上記第１の選択画素群の画素と同数で、上記注目画素と上記第１の選択画素群の画素とを結ぶ線の方向に位置し、かつ、上記注目画素から、上記第１の選択画素群の画素までの距離に対して、所定の係数ｆを掛けることにより得られる距離に位置する画素の第Ｌの色成分値の平均値を第２の平均値として算出する第２の平均値算出ステップと、
上記注目画素の近傍の領域内に位置する画素の上記第Ｋの色成分値と上記第Ｌの色成分値との相関関係が、正の相関と負の相関のどちらであるかを判定する相関関係判定ステップと、
上記注目画素の第Ｋの色成分値と上記第１の平均値の差と、上記係数ｆと、上記第２の平均値と、上記相関関係判定ステップの判定結果に基づき、上記注目画素の位置における第Ｌの色成分値を生成する信号生成ステップと
を有することを特徴とする。
【発明の効果】
【００１０】
この発明に係る画素信号処理方法は、注目画素及びその周辺の画素における、互いに異なる色成分値相互間の相関関係が、正の相関関係か負の相関関係かを判定した上で補間処理を行うことが出来るため、注目画素及びその周辺の画素における、互いに異なる色成分値相互間に負の相関関係がある場合でも白抜けや黒ずみなどの画像劣化が発生することがない。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。
【００１２】
実施の形態１．
図１は、この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。レンズ１から入射した光は、２次元撮像素子２に結像する。２次元撮像素子２は、２次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図２に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有する色フィルタで覆われており、各光電変換素子からは、色フィルタの色に対応した色成分の信号が出力される。
図２において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に２次元的に配列されているので、それらの位置は、ＨＶ座標面上の座標値で表すことができる。
【００１３】
２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログ画素信号を画素ごとに出力する。このアナログ画素信号はＡ／Ｄ変換器３にてデジタル画素信号に変換され、出力され、フレームメモリ４に記憶される。この際、各画素の信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応付けて記憶される。
上記のようにしてフレームメモリ４に記憶された画素信号は、撮像素子２から出力された信号の値を表すので、「撮像素子の出力信号」、或いは単に「出力信号」と呼ばれ、後述のようにローパスフィルタリングをすることにより得られる画素信号や補間により得られる画素信号と区別される。
【００１４】
上記のように各画素を構成する光電変換素子の各々からは、Ｒ、Ｇ、Ｂのいずれかの一つの成分値を表す信号しか得られない。即ち、フレームメモリ４に記録される、各画素位置の出力信号は、Ｒ成分値のみを有する画素（Ｒ画素）、Ｇ成分のみを有する画素（Ｇ画素）、Ｂ成分のみを有する画素（Ｂ画素）のいずれかである。言換えると、各画素位置には一つの色の成分値のみが既知であり、他の色の成分値は未知である。本発明は、この各画素位置において未知の色成分値（不足色の色成分値）を補間により求めるものである。
【００１５】
なお、本実施の形態では、各画素位置の画素信号が、Ｒ、Ｇ、Ｂのいずれかの色成分を有するものであるが、本発明は一般的には、各画素位置の画素信号が、第１乃至第Ｎ（Ｎは２以上の整数）の色成分値のいずれかを有する場合に適用可能である。
【００１６】
第１の平均値算出手段５は、補間の対象となる画素（注目画素）の周辺にある画素の中から、注目画素と同じ色（以下、この色を「第Ｋの色」と言うことがある。本実施の形態では、ＫはＲ、Ｇ、Ｂのいずれかである。）の出力信号を有する画素を選択する。（以下、第１の平均値算出手段５で選択された画素を第１の選択画素群の画素と言うことがある。）そして、選択した画素の出力信号をフレームメモリ４から取り出し、平均値（第１の平均値）を算出して出力する。
【００１７】
第２の平均値算出手段６は、注目画素の周辺にある画素の中から、補間処理により生成したい信号の色（以下、この色を「第Ｌの色」と言うことがある。本実施の形態の場合、ＬはＲ、Ｇ、Ｂのいずれかであり、Ｋとは異なる。）と同じ色の出力信号を有する画素を選択する。（以下、第２の平均値算出手段６で選択された画素を第２の選択画素群の画素と言うことがある。）
この選択に際し、第１の選択画素群の画素の撮像面上での位置（ＨＶ平面上での位置）をつないで形成される幾何学図形と相似比ｆの相似関係にある幾何学図形を形成する画素を選択する。
言換えると、注目画素の周辺画素のうち、補間処理で生成したい色（第Ｌの色）を有し、第１の選択画素群の画素と同数で、注目画素と上記第１の選択画素群の画素とを結ぶ線の方向に位置し、かつ、注目画素から、第１の選択画素群の画素までの距離に対して、所定の係数ｆを掛けることにより得られる距離に位置する画素を選択する。
そして、選択した画素の出力信号をフレームメモリ４から取り出し、平均値（第２の平均値）を算出して出力する。
【００１８】
相関関係判定手段７は、注目画素の近傍の領域内に位置する画素の、注目画素と同じ色（第Ｋの色）の色成分値と、補間により求めようとする色（第Ｌの色）の色成分値との相関関係が、正の相関（一方の値が増加すれば他方の値も増加し、一方の値が減少すれば他方の値も減少する）と負の相関（一方の値が増加すれば他方の値は減少し、一方の値が減少すれば他方の値は増加する）のどちらであるかを判定する。
このために、相関関係判定手段（７）は、注目画素の近傍の領域内の画素の出力信号を用いて回帰分析を施し、注目画素周辺における、注目画素の有する色と、補間処理により生成したい色の相関関係を表す回帰式を算出する。
ここで注目画素の近傍の領域とは、注目画素から所定の距離の範囲内にある画素であり、注目画素自体も近傍の領域に含まれる。
【００１９】
信号生成手段８は、注目画素の出力信号から第１の平均値（第１の平均値算出手段５の出力）を差し引き、その結果に相似比乃至係数ｆを乗じた値と、第２の平均値（第２の平均値算出手段６の出力）と、相関関係判定手段７の判定結果を用いて、注目画素の位置における第Ｌの色成分値を算出する。このような補間処理をすべての画素のすべての不足色について行う。このように、補間処理により得られた信号を生成信号と呼ぶ。信号生成手段８は、撮像素子からの出力信号と生成信号をあわせ、ＲＧＢのカラー信号として出力する。
【００２０】
図３は、撮像素子の出力信号の一部を模式的に示した２次元配列図である。図において、各マスは各画素を意味し、その中に記載されているアルファベット文字が各画素の出力信号（撮像素子２から得られる画素信号）の色を、カッコ内の数字が各画素の位置（ｌ＝行、ｍ＝列）をそれぞれ示している。
【００２１】
以下、一連の動作のうち、第１の平均値算出手段５から信号生成手段８で行われる、各画素の不足色の信号を生成する補間処理について更に詳しく説明する。図４は補間の手順を示すフローチャートである。
【００２２】
まず、図３の中央にあるＢ色の出力信号を有する画素Ｂ（２，２）を注目画素とし、その位置における不足色の１つであるＧ色の信号を生成する場合を例に説明する。
【００２３】
第１の平均値算出手段５では、例えば、注目画素から上下左右に等距離、例えば２画素離れた位置にあり、Ｂ色の出力信号を有する、４つの画素を選択する。つまり、図３中の（０，２）、（２，０）、（２，４）、（４，２）の位置にある画素を選択する。そして、選択した画素位置における出力信号をフレームメモリ４より取り出し、式（４）に従って平均値Ｂａｖｅｒａｇｅ（第１の平均値）を算出する（ステップＳＴ５）。
【００２４】
Ｂａｖｅｒａｇｅ
＝｛Ｂ（０，２）＋Ｂ（２，０）＋Ｂ（２，４）＋Ｂ（４，２）｝／４
…（４）
【００２５】
第２の平均値算出手段６では、第１の平均値算出手段５で選択した画素にあわせ、注目画素から上下左右に１画素離れた位置にあり、Ｇ色の出力信号を有する、４つの画素を選択する。つまり、図３中の（１，２）、（２，１）、（２，３）、（３，２）の位置にある画素を選択する。これにより、撮像面に対応するＨＶ座標面上において、第１の平均値算出手段５で選択した画素（第１の選択画素群の画素）の位置を直線で結んで作られる幾何学図形（ひし形）と、第２の平均値算出手段６で選択した画素（第２の選択画素群の画素）の位置を直線で結んで作られる幾何学図形（ひし形）が、図３の破線で示すように相似比ｆ＝１／２の相似の関係になっていることが分かる。
言換えると、第２の選択画素群の画素は、第１の選択画素群の画素と同数あり、注目画素と上記第１の選択画素群の画素とを結ぶ線の方向に位置し、かつ、注目画素から、第１の選択画素群の画素までの距離に対して、所定の係数ｆを掛けることにより得られる距離に位置する。
このようにして選択した画素位置における出力信号をフレームメモリ４より取り出し、式（５）に従って平均値Ｇａｖｅｒａｇｅ（第２の平均値）を算出する（ステップＳＴ６）。
【００２６】
Ｇａｖｅｒａｇｅ
＝｛Ｇ（１，２）＋Ｇ（２，１）＋Ｇ（２，３）＋Ｇ（３，２）｝／４
…（５）
【００２７】
相関関係判定手段７では注目画素の近傍の領域内にある画素の出力信号を用いて回帰式を求める。回帰式は、例えば、注目画素の近傍の領域内、例えば注目画素を中心とする３×３領域内（注目画素からの距離が水平方向、垂直方向ともに１画素の範囲内）にある各画素位置におけるローパスフィルタ値を算出し、その値を用いて回帰分析を行うことで求められる。このとき、Ｇ色のローパスフィルタ値とＢ色のローパスフィルタ値を用いて算出した回帰式は、Ｇ色とＢ色の出力信号の相関関係を表している。
【００２８】
相関関係判定手段７は、フレームメモリ４に記憶されている、撮像素子２からの出力信号のうち、それぞれＲ、Ｇ、Ｂ色成分を有する信号を別個に取出す。図５（ａ）は撮像素子からの出力信号、図５（ｂ）〜（ｄ）は色成分毎に出力信号を分割した様子を示している。
【００２９】
次に分割した出力信号を用いてローパスフィルタ値を算出する。ローパスフィルタ値としては、例えば、各画素の近傍の領域内にある画素の出力信号の平均値を用い得る。例えば、図５（c）の★印で示した（１，１）の位置におけるＧ色のローパスフィルタ値としては、それから水平、垂直方向の距離が１画素以内の領域、即ち太線で囲まれた領域内のＧ色画素、即ち上、下、左、右側において隣接する画素Ｇ（０，１）、Ｇ（１，０）、Ｇ（１，２）、Ｇ（２，１）の出力信号の平均値が用いられる。よって、図５において注目画素を中心とする３×３領域内（水平、垂直方向の距離が１画素以内の領域）に含まれる９つの画素の位置におけるＧ色のローパスフィルタ値は、以下の式（６）〜（１４）により得られる。ここで、ＧＬＰＦ（ｌ，ｍ）は画素位置（ｌ，ｍ）におけるＧ色のローパスフィルタ値を示している。
【００３０】
ＧＬＰＦ（１，１）
＝（Ｇ（０，１）＋Ｇ（１，０）＋Ｇ（１，２）＋Ｇ（２，１））/４
…（６）
ＧＬＰＦ（１，２）
＝（Ｇ（０，１）＋Ｇ（０，３）＋Ｇ（１，２）＋Ｇ（２，１）＋Ｇ（２，３））/５
…（７）
ＧＬＰＦ（１，３）
＝（Ｇ（０，３）＋Ｇ（１，２）＋Ｇ（１，４）＋Ｇ（２，３））/４
…（８）
ＧＬＰＦ（２，１）
＝（Ｇ（１，０）＋Ｇ（１，２）＋Ｇ（２，１）＋Ｇ（３，０）＋Ｇ（３，２））/５
…（９）
ＧＬＰＦ（２，２）
＝（Ｇ（１，２）＋Ｇ（２，１）＋Ｇ（２，３）＋Ｇ（３，２））/４
…（１０）
ＧＬＰＦ（２，３）
＝（Ｇ（１，２）＋Ｇ（１，４）＋Ｇ（２，３）＋Ｇ（３，２）＋Ｇ（３，４））/５
…（１１）
ＧＬＰＦ（３，１）
＝（Ｇ（２，１）＋Ｇ（３，０）＋Ｇ（３，２）＋Ｇ（４，１））/４
…（１２）
ＧＬＰＦ（３，２）
＝（Ｇ（２，１）＋Ｇ（２，３）＋Ｇ（３，２）＋Ｇ（４，１）＋Ｇ（４，３））/５
…（１３）
ＧＬＰＦ（３，３）
＝（Ｇ（２，３）＋Ｇ（３，２）＋Ｇ（３，４）＋Ｇ（４，３））/４
…（１４）
【００３１】
同様に、図５において注目画素からの水平、垂直方向の距離が１画素以内の領域内の９つの画素位置におけるＢ色のローパスフィルタ値は、以下の式（１５）〜（２３）により得られる。ここで、ＢＬＰＦ（ｌ，ｍ）は画素位置（ｌ，ｍ）におけるはＢ色のローパスフィルタ値を示している。
【００３２】
ＢＬＰＦ（１，１）＝（Ｂ（０，０）＋Ｂ（０，２）＋Ｂ（２，０）＋Ｂ（２，２））/４
…（１５）
ＢＬＰＦ（１，２）＝（Ｂ（０，２）＋Ｂ（２，２））/２                …（１６）
ＢＬＰＦ（１，３）＝（Ｂ（０，２）＋Ｂ（０，４）＋Ｂ（２，２）＋Ｂ（２，４））/４
…（１７）
ＢＬＰＦ（２，１）＝（Ｂ（２，０）＋Ｂ（２，２））/２                …（１８）
ＢＬＰＦ（２，２）＝Ｂ（２，２）                                      …（１９）
ＢＬＰＦ（２，３）＝（Ｂ（２，２）＋Ｂ（２，４））/２                …（２０）
ＢＬＰＦ（３，１）＝（Ｂ（２，０）＋Ｂ（２，２）＋Ｂ（４，０）＋Ｂ（４，２））/４
…（２１）
ＢＬＰＦ（３，２）＝（Ｂ（２，２）＋Ｂ（４，２））/２                …（２２）
ＢＬＰＦ（３，３）＝（Ｂ（２，２）＋Ｂ（２，４）＋Ｂ（４，２）＋Ｂ（４，４））/４
…（２３）
【００３３】
次に、このようにして得られたＢ色のローパスフィルタ値を説明変数、Ｇ色のローパスフィルタ値を目的変数として回帰分析を行い、式（２４）で示す回帰直線の傾きａを算出する（ステップＳＴ７）。
【００３４】
ＧＬＰＦ＝ａ×ＢＬＰＦ＋ｂ            …（２４）
【００３５】
図６は、式（２４）の回帰直線の傾きａを算出するための手順を示すフローチャートである。説明変数として用いられる色成分値（ここで説明している例では、ＢＬＰＦ（ｌ，ｍ））をｅ（ｉ）、目的変数として用いられている色成分値（ここで説明している例では、ＧＬＰＦ（ｌ，ｍ））をp（ｉ）、データ総数、即ち、回帰分析に用いられるＢ色のローパスフィルタ値の総数（回帰分析に用いられるＧ色のローパスフィルタ値の総数もこれに等しい）をＭ（ここで説明している例では、Ｍ＝９）とし、データ番号をｉ（＝１〜Ｍ）とする。
図６において、ステップＳＴ１は演算に使用するデータの総数Ｍを設定するデータ数設定ステップ、ステップＳＴ２は説明変数と目的変数を用いた積和演算を行いｋ１、ｋ２を算出する積和演算ステップ、ステップＳＴ３はステップＳＴ２で得られたｋ１、ｋ２を用いて回帰直線の傾きａを算出する傾き算出ステップである。
【００３６】
このようにして得られた回帰直線は注目画素の近傍の領域内におけるＧ色とＢ色の相関関係を表している。相関関係判定手段７は、回帰直線の傾きａが正の場合には、Ｇ色とＢ色の信号には正の相関があると判定する。逆に、回帰直線の傾きａが負の場合には、Ｇ色とＢ色の信号には負の相関があると判定する（ステップＳＴ８〜ＳＴ１０）。
【００３７】
最後に信号生成手段８では、フレームメモリ４からの注目画素の出力信号Ｂ（２，２）第１の平均値算出手段５で求めたＢ色の平均値Ｂａｖｅｒａｇｅ、第２の平均値算出手段６から供給される係数ｆを用いて、式（２５）の演算により下記の値ｄＧを算出する（ステップＳＴ１１）。
この値ｄＧは、注目画素の画素信号の値から、注目画素の周辺の画素の画素信号の値の平均値を差し引くことにより得られる差に係数ｆ（＝１／２）を掛けたものである。
【００３８】
ｄＧ＝｛Ｂ（２，２）−Ｂａｖｅｒａｇｅ｝／２          …（２５）
【００３９】
信号生成手段８ではさらに、第２の平均値算出手段６で算出したＧ色の平均値Ｇａｖｅｒａｇｅ、式（２５）で算出したｄＧ、相関関係判定手段７の判定結果を用いて、下記の式（２６）又は（２７）で示した方法で注目画素におけるＧ色の信号ｇ（２，２）を算出する（ステップＳＴ１２〜ＳＴ１４）。「ｇ（２，２）」における小文字の「ｇ」は、式（２６）、（２７）のような計算により生成された信号を表す。
【００４０】
正の相関がある場合
ｇ（２，２）＝Ｇａｖｅｒａｇｅ＋ｄＧ      …（２６）
負の相関がある場合
ｇ（２，２）＝Ｇａｖｅｒａｇｅ−ｄＧ      …（２７）
【００４１】
以上の処理を、注目画素を変えながら繰り返し行うことで、全てのＢ色の画素におけるＧ色の信号を生成することができる。
【００４２】
Ｒ色の出力信号を有する画素の位置において不足色の１つであるＧ色の信号を生成する場合は、例えば、図４で示す補間手順においてＢ色を全てＲ色に置き換えると、同様の手順で補間処理を行うことが出来る。
【００４３】
次に、Ｇ色の出力信号を有する画素の位置における不足色であるＲ色及びＢ色の信号を生成する場合について説明する。
【００４４】
注目画素としてＧ色の出力信号を有する画素（Ｇ画素）を選ぶ場合、ベイヤ配列においては、注目画素の周囲のＲ画素、Ｂ画素の配置は、注目画素が画面内の奇数行のものか偶数行のものかよって異なる。即ち、奇数行のＧ画素に対しては、図７（a）に示すように、Ｒ画素は左右方向にのみ存在し（水平方向にのみ整列しており）、Ｂ画素は上下方向に対してのみ存在する（垂直方向にのみ整列している）。逆に偶数行のＧ画素に対しては、図７（ｂ）に示すように、Ｒ画素は上下方向にのみ存在し、Ｂ画素は左右方向にのみ存在する。
【００４５】
そこで、Ｇ画素の位置におけるＲ色及びＢ色の信号を生成する場合には、図４のステップＳＴ５，ＳＴ６において、水平方向又は垂直方向のうち、生成したい色成分値の画素が存在する方向の画素を選択する。そして、上記したＢ画素位置におけるＧ色の信号の生成と同様にして、Ｒ色の信号、Ｂ色の信号を生成する。
【００４６】
例えば図７（ａ）に示す奇数行のＧ画素の位置のＲ色の信号を生成するには、水平方向に整列した画素を選択する。奇数行のＧ画素の位置のＢ色の信号を生成するには、垂直方向に整列した画素を選択する。図７（ｂ）に示す偶数行のＧ画素の位置のＲ色の信号を生成するには、垂直方向に整列した画素を選択する。偶数行のＧ画素の位置のＢ色の信号を生成するには、水平方向に整列した画素を選択する。
【００４７】
Ｒ色の出力信号を有する画素の位置における不足色であるＢ色の信号を生成する場合には、図４のステップＳＴ５，ＳＴ６において、例えば図８の斜め方向（水平軸、垂直軸に対して４５度の角度の方向）に整列した画素を選択すると、同様の手順で補間処理を行うことが出来る。Ｂ色の出力信号を有する画素の位置における不足色であるＲ色の信号を生成する場合も同様である。
【００４８】
全ての画素の位置における、すべての不足色について信号の生成が終了すると、信号生成手段８は生成信号と撮像素子からの出力信号をあわせ、ＲＧＢの色信号として出力する。
【００４９】
このようにして補間を行うと、注目画素とその周囲画素における各色信号の相関関係が、正の相関関係か負の相関関係かを判定した上で補間処理を行うことが出来るため、互いに異なる色成分値相互間に負の相関関係がある場合にも黒ずみや白抜けなどの画像劣化が発生することはない。
【００５０】
より具体的に、図９に示すような出力信号の場合に、中央にあるＢ色の出力信号を有する画素の位置におけるＧ色の信号を生成する場合について考える。図中の数値は各画素の出力信号のレベルを表している。
【００５１】
ここでは、注目画素と、注目画素から左右に２画素離れた位置にあるＢ画素と、左右に１画素離れた位置にあるＧ画素を用いて、Ｇ色の平均値Ｇａｖｅｒａｇｅと値ｄＧを算出する（式（２８）〜（３０））。
【００５２】
Ｇａｖｅｒａｇｅ＝（６５＋１０７）／２＝８６      …（２８）
Ｂａｖｅｒａｇｅ＝（２２４＋２００）／２＝２１２      …（２９）
ｄＧ＝（２５２−２１２）／２＝２０        …（３０）
【００５３】
次に、図９の中央にある注目画素とその周辺画素の位置におけるＧ色とＢ色のローパスフィルタ値を算出する。各ローパスフィルタ値は図１０（ａ）、（ｂ）に示した値になる。そして、Ｂ色のローパスフィルタ値を説明変数、Ｇ色のローパスフィルタ値を目的変数として回帰分析を施し、Ｂ色とＧ色の相関関係を表す回帰直線を算出する。図１１は、回帰線を算出するために使用したＧ色とＢ色のローパスフィルタ値からなるデータと、得られた回帰直線を示している。回帰直線の傾きは図１１中に示したように−０．７８２９であり、従って、注目画素とその周辺画素の位置においては、Ｇ色とＢ色に負の相関関係があると判定される。
【００５４】
よって、式（２８）、（３０）を式（２７）
に代入することで下記の式（３１）のように注目画素の不足色であるＧ色の生成信号が求まる。
【００５５】
ｇ（２，２）＝Ｇａｖｅｒａｇｅ−ｄＧ＝８６−２０＝６６      …（３１）
【００５６】
ｇ（２，２）の信号レベルを図１２中の☆で示す。図１２において、横軸は撮像面のＨ軸の方向における各画素の位置を表す。即ち、図１２のＢ３、Ｇ４、Ｂ５、Ｇ６、Ｂ７が、図９の太線で囲まれた部分の画素、即ち、それぞれ値「２２４」、「６５」、「２５２」、「１０７」、「２００」を有する画素に対応する。
図１２の縦軸は各画素における信号のレベルを表し、図１２中の太い横線で表した（Ｂ３＋Ｂ７）／２、（Ｇ４＋Ｇ６）／２の値がそれぞれ、
（Ｂ３＋Ｂ７）／２＝Ｂａｖｅｒａｇｅ＝２１２
（Ｇ４＋Ｇ６）／２＝Ｇａｖｅｒａｇｅ＝８６
である。
●印は撮像素子より出力されたＢ色の出力信号、破線で示す曲線はＢ色の出力信号変化曲線、○印は撮像素子より出力されたG色の出力信号、一点鎖線で示す曲線はＧ色の出力信号変化曲線である。また、△印は上記した特開２００１−１９７５１２号公報の補間方法により生成されたＢ色の生成信号のレベル、太い実線で示す直線は補間を行う画素位置（２，２）の近傍におけるＧ、Ｂ各色の平均出力信号レベルである。図示のように、従来の方法では、Ｇ色の出力信号変化曲線から外れており、白抜けした偽色が発生してしまう。これに対し、本発明では、生成した信号はＧ色の信号変化曲線に沿った値であり、色に負の相関関係がある場合であっても黒ずみや白抜け等の画像劣化を発生することがなくなる。
【００５７】
なお、上記の実施の形態では、注目画素位置において色成分値が既知の色の色成分値を説明変数とし、不足色の色成分値を目的変数として回帰分析を行っているが、逆に注目画素位置において色成分値が既知の色の色成分値を目的変数とし、不足色の色成分値を説明変数として回帰分析を行ってもよい。この回帰分析の目的は、二つの色の色成分値相互間の相関を表す回帰直線の傾きの正負を求めることにあるので、どちらを説明変数とし、どちらを目的変数としても同じ結果が得られるからである。
【００５８】
また、撮像素子から出力された画素信号を元にして補間を行っているが、他の補間処理によって求められた画素信号を元にして補間を行う場合にも本発明を適用することができる。
【図面の簡単な説明】
【００５９】
【図１】この発明の実施の形態１の画素信号処理装置を含む、デジタルスチルカメラなどの撮像装置の構成を示すブロック図である。
【図２】ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。
【図３】この発明の実施の形態１において、注目画素がＲ色の信号を有するものである場合に、不足色であるＧ色の信号を生成するために選択される画素の配列を説明するための説明図である。
【図４】この発明の実施の形態１における、補間の手順を示すフローチャートである。
【図５】２次元撮像素子からの出力信号と、その出力信号を各色ごとに分割した状態を示す説明図である。
【図６】この発明の実施の形態１において、回帰直線の傾きを算出する手順を示すフローチャートである。
【図７】この発明の実施の形態１において、注目画素がＧ色の信号を有するものである場合に、不足色であるＲ色又はＢ色の信号を生成するために選択される画素の配列を説明するための説明図であり、（ａ）は、注目画素が奇数行にある場合、（ｂ）は、目画素が偶数行にある場合を示す。
【図８】この発明の実施の形態１において、注目画素がＲ色の信号を有する場合に、不足色であるＢ色の信号を生成するために選択される画素の配列を説明するための説明図である。
【図９】撮像素子から得られる出力信号の値の一例を示す説明図である。
【図１０】この発明の実施の形態１において、図９の出力信号から算出されるローパスフィルタ出力を示す説明図である。
【図１１】Ｇ色、Ｂ色のローパスフィルタ出力からなる９組のデータから得られる回帰直線を模式的に示す説明図である。
【図１２】負の相関がある場合における生成信号の値を従来方法を用いた場合と比較して説明するための説明図である。
【符号の説明】
【００６０】
２  ２次元撮像素子、  ５  第１の平均値算出手段、  ６  第２の平均値算出手段、  ７  相関関係判定手段、  ８  信号生成手段。
【図１】
2005210274.tif 000005
【図２】
2005210274.tif 000006
【図３】
2005210274.tif 000007
【図４】
2005210274.tif 000008
【図５】
2005210274.tif 000009
【図６】
2005210274.tif 000010
【図７】
2005210274.tif 000011
【図８】
2005210274.tif 000012
【図９】
2005210274.tif 000013
【図１０】
2005210274.tif 000014
【図１１】
2005210274.tif 000015
【図１２】
2005210274.tif 000016