(57)【特許請求の範囲】
【請求項１】
基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間方法において、
色補間を行うべき位置を実際に存在する画素に選び、この画素を注目画素として、前記補間すべき色成分のうち当該注目画素がもともと有する色成分についてはそれをその色成分とし、
それ以外の色成分については、
前記補間すべき各色成分ごとに、前記注目画素の周囲に４×４でなる画素範囲を設定し、
この設定された或る色成分における４×４の画素範囲の行方向画素ライン上に４本の行方向画素ラインを設定し、この４本の行方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られる４個の第１の係数を求めるとともに、当該色成分における４×４の画素範囲の列方向画素ライン上に４本の列方向画素ラインを設定し、この４本の列方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られる４個の第２の係数を求め、
求められた４個の第１の係数および４個の第２の係数と、前記４×４の画素範囲に存在する画素の値とから当該注目画素の色成分を求め、
前記求められた４個の第１の係数および４個の第２の係数と、４×４の画素範囲に存在する画素の値とから当該注目画素の色成分を求める演算処理は、
４×４の画素範囲における４行４列の行列と４個の係数でなる行ベクトルと４個の係数でなる列ベクトルとの積をとる行列演算である
ことを特徴とする単板式固体撮像素子の色補間方法。
【請求項２】
色補間すべき或る色成分について前記注目画素の周囲に４×４の画素範囲を設定するとともに、その色成分で構成される４×４の画素範囲における４本の行方向画素ラインと４本の列方向画素ラインを設定し、前記注目画素が４本の行方向画素ラインの中のいずれかの行方向画素ライン上に存在する場合には、その注目画素と４本の行方向画素ラインとの間隔が整数値で表わされ、その場合、その注目画素と４本の行方向画素ラインとの間隔から求められる４個の係数が０または１となり、
また、前記注目画素が４本の列方向画素ラインの中のいずれかの列方向画素ライン上に存在する場合には、その注目画素と４本の列方向画素ラインとの間隔が整数値で表わされ、その場合、その注目画素と４本の列方向画素ラインとの間隔から求められる４個の係数が０または１となり、
また、前記注目画素がいずれの行方向画素ライン上にも存在しない場合には、その注目画素と４本の行方向画素ラインとの間隔から求められる４個の係数の値がビットシフトで対応可能な値で表わされ、前記注目画素がいずれの列方向画素ライン上にも存在しない場合には、その注目画素と４本の列方向画素ラインとの間隔から求められる４個の係数がビットシフトで対応可能な値で表せることを特徴とする請求項１記載の単板式固体撮像素子の色補間方法。
【請求項３】
前記注目画素の周囲に４×４の画素範囲を設定する際、当該注目画素を中心とした上下左右対称となる４×４の画素範囲の設定が行えない場合は、すでに処理の終了した画素を優先して含むような４×４の画素範囲設定を行うことを特徴とする請求項２記載の単板式固体撮像素子の色補間方法。
【請求項４】
基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、
色補間を行うべき位置を実際に存在する画素に選び、この画素を注目画素として、前記補間すべき色成分のうち当該注目画素がもともと有する色成分についてはそれをその色成分とする手順と、
それ以外の色成分については、
前記補間すべき各色成分ごとに、前記注目画素の周囲に４×４でなる画素範囲を設定する手順と、
この設定された或る色成分における４×４の画素範囲の行方向画素ライン上に４本の行方向画素ラインを設定し、この４本の行方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られる４個の第１の係数を求めるとともに、当該色成分における４×４の画素範囲の列方向画素ライン上に４本の列方向画素ラインを設定し、この４本の列方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られる４個の第２の係数を求める手順と、
求められた４個の第１の係数および４個の第２の係数と、前記４×４の画素範囲に存在する画素の値とから当該注目画素の色成分を求める手順と、
を含み、
前記求められた４個の第１の係数および４個の第２の係数と、４×４の画素範囲に存在する画素の値とから当該注目画素の色成分を求める演算処理は、
４×４の画素範囲における４行４列の行列と４個の係数でなる行ベクトルと４個の係数でなる列ベクトルとの積をとる行列演算である
ことを特徴とする単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
【請求項５】
色補間すべき或る色成分について前記注目画素の周囲に４×４の画素範囲を設定するとともに、その色成分で構成される４×４の画素範囲における４本の行方向画素ラインと４本の列方向画素ラインを設定し、前記注目画素が４本の行方向画素ラインの中のいずれかの行方向画素ライン上に存在する場合には、その注目画素と４本の行方向画素ラインとの間隔が整数値で表わされ、その場合、その注目画素と４本の行方向画素ラインとの間隔から求められる４個の係数が０または１となり、
また、前記注目画素が４本の列方向画素ラインの中のいずれかの列方向画素ライン上に存在する場合には、その注目画素と４本の列方向画素ラインとの間隔が整数値で表わされ、その場合、その注目画素と４本の列方向画素ラインとの間隔から求められる４個の係数が０または１となり、
また、前記注目画素がいずれの行方向画素ライン上にも存在しない場合には、その注目画素と４本の行方向画素ラインとの間隔から求められる４個の係数の値がビットシフトで対応可能な値で表わされ、前記注目画素がいずれの列方向画素ライン上にも存在しない場合には、その注目画素と４本の列方向画素ラインとの間隔から求められる４個の係数がビットシフトで対応可能な値で表せることを特徴とする請求項４記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
【請求項６】
前記注目画素の周囲に４×４の画素範囲を設定する際、当該注目画素を中心とした上下左右対称となる４×４の画素範囲の設定が行えない場合は、すでに処理の終了した画素を優先して含むような４×４の画素範囲設定を行うことを特徴とする請求項５記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は単板式固体撮像素子の色補間を行う方法に係わり、特に、バイキュービック（Bi Cubic）法の原理を用いた色補間を少ない演算量で可能とする単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
ディジタルカメラなど画像をディジタルデータとして取り出すことのできる画像入力装置には、ＣＣＤ（Charge Coupled Device）と呼ばれる固体撮像素子が用いられている。このＣＣＤは一般の家庭用機器では、単一のＣＣＤから３つの基本となる色を取り出す、いわゆる単板式方式が採用されている。
【０００３】
この単板式のＣＣＤは基本となる色（ここでは補色を用いて説明する）として、シアン（Ｃ）、イエロ（Ｙ）、マゼンタ（Ｍ）とそれにグリーン（Ｇ）を加えた４つの色を１セットとしてたとえば図４に示すようにそれぞれの画素対応に２次元平面的な配列となっている。
【０００４】
この図４において、今、シアンＣ２２に対応する画素部分に注目して考えると、この画素（注目画素という）における色はシアンのみの色情報しか得られないことになる。したがって、この部分の色再現を行うには、近傍の色を用いた色補間を行う必要がある。一例としては、マゼンタはシアンＣ２２の直ぐ上にあるマゼンタＭ１２と直ぐ下にあるマゼンタＭ２２を用いて、両者の値を足して２で割るいわゆる単純平均によって求めた値を注目画素のマゼンタの値とする。なお、ここでの説明では、Ｃ２２やＭ１２などの数値「２２」や「１２」は、図４において、それぞれの色成分の座標上の位置を示しているが、便宜的にれぞれの色成分の値（画素値）を示すものとする、これは、他の色においても同様であり、以下の説明でもこれを用いる。
【０００５】
同様に、イエロはシアンＣ２２の左隣にあるイエロＹ２１と右隣にあるイエロＹ２２を用いて、両者の値を足して２で割る単純平均によって得られた値を注目画素Ｃ２２のイエロの値とする。
【０００６】
同様に、グリーンはシアンＣ２２の斜め左上にあるグリーンＧ１１と斜め右上にあるグリーンＧ１２、斜め左下にあるグリーンＧ２１と斜め右下にるグリーンＧ２２をいて、これらの値を足して４で割る単純平均によって得られた値を注目画素のグリーンの値とする。
【０００７】
このように、注目画素を中心とした所定の画素範囲に存在するそれぞれの画素対応の色成分を用いて注目画素の色補間を行うようにしている。
【０００８】
また、これとは別にたとえば、もともと存在していない部分の画素に対する色補間を行うこともある。これは画素データを内挿することによって、主に、画像の平滑化とともに画像の鮮鋭化を図るためであり、その手法として従来より、 バイキュービック法と呼ばれる補間方法がある。このバイキュービック法について以下に簡単に説明する。
【０００９】
バイキュービックは、本来、無限に広がる範囲からそれぞれの色成分ごとに画素補間演算を行うが、処理を簡略化するために、それぞれの色成分ごとに４×４の画素範囲を設定して行うことが一般的に行われている。
【００１０】
たとえば、ある１つの色成分について図５に示すような４×４の画素範囲を設定し、その範囲内に存在するそれぞれの画素の色成分の値（画素値）をＱ１１，Ｑ１２，・・・，Ｑ４４で表すとする。このような設定において、周囲４画素の中心に位置する格子点ｐ（この場合は、Ｑ２２，Ｑ２３，Ｑ３２，Ｑ３３の中心位置）に画素補間することを考える。一般に、求めるべき点の画素値Ｇｐは、次に示す行列式で求めることができる。
【００１１】
【数１】
0004006908.tif 000002
【００１２】
この行列式における行ベクトル（ｙ１，ｙ２，ｙ３，ｙ４）と列ベクトル（ｘ１，ｘ２，ｘ３，ｘ４）は、色補間すべき点からその色成分に対応する既存の画素の存在する列方向ライン及び行方向ラインまでの距離から決まる係数である。
【００１３】
これを図５によって説明すると、ｙ１は格子点ｐと行方向画素ラインＡ１との間の距離Ｄｙ１によって決まる係数、ｙ２は格子点ｐと行方向画素ラインＡ２との間の距離Ｄｙ２によって決まる係数、ｙ３は格子点ｐと行方向画素ラインＡ３との間の距離Ｄｙ３によって決まる係数、ｙ４は格子点ｐと行方向画素ラインＡ４との間の距離Ｄｙ４によって決まる係数である。また、ｘ１は格子点ｐと列方向画素ラインＢ１との間の距離Ｄｘ１によって決まる係数、ｘ２は格子点ｐと列方向画素ラインＢ２との間の距離Ｄｘ２によって決まる係数、ｘ３は格子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３によって決まる係数、ｘ４は格子点ｐと列方向画素ラインＢ４との間の距離Ｄｘ４によって決まる係数である。
【００１４】
そして、これらそれぞれの係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を、ここではこれらを代表して係数ｋと表し、かつ、上述のそれぞれの距離Ｄｙ１、 Ｄｙ１、 Ｄｙ１、 Ｄｙ１とＤｘ１、 Ｄｘ１、 Ｄｘ１、 Ｄｘ１を代表して距離Ｄと表せば、定数ｋは、距離Ｄの大きさに応じて
Ｋ＝１−２｜Ｄ｜２＋｜Ｄ｜３              （ただし、０≦｜Ｄ｜＜１）  （２）
Ｋ＝４−８｜Ｄ｜＋５｜Ｄ｜２−｜Ｄ｜３    （ただし、１≦｜Ｄ｜＜２）  （３）
Ｋ＝０                                  （ただし、２≦｜Ｄ｜）      （４）
で求められる。
【００１５】
つまり、距離Ｄが０≦｜Ｄ｜＜１である場合には（２）式を用い、１≦｜Ｄ｜＜２である場合には（３）式を用い、２≦｜Ｄ｜である場合には（４）式を用いる。
【００１６】
なお、距離Ｄは、行方向および列方向のそれぞれの画素ライン間隔をＤ＝１としている。したがって、画素ライン間隔の１／２であればＤ＝0.5、画素ライン間隔の１／４であればＤ＝0.25とする。たとえば、図５において、格子点ｐと行方向画素ラインＡ１との間の距離Ｄ（この場合はＤｙ１で表される）はＤｙ１=1.5であり、格子点ｐと行方向画素ラインＡ２との間の距離Ｄ（この場合はＤｙ２で表される）はＤｙ２=0.5である。また、格子点ｐと列方向画素ラインＢ１との間の距離Ｄ（この場合はＤｘ１で表される）はＤｘ１=1.5であり、格子点ｐと列方向画素ラインＢ２との間の距離Ｄ（この場合はＤｘ２で表される）はＤｘ２=0.5である。
【００１７】
このような距離をその値の大きさに応じて上述の（２）〜（４）式のいずれかに代入することによって、係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４が求められる。以下、具体例により説明する。
【００１８】
マトリクス状の画素配列のそれぞれの画素に対し図６に示すような色成分配列（図４と同じ色成分配列）となっている単板式固体撮像素子を考える。このような単板式固体撮像素子において、格子点ｐの位置に画素補間（色補間）を行う例について説明する。なお、この格子点ｐは、その周囲にある４画素（Ｇ２２、Ｍ２３，Ｙ３２．Ｃ３３）の中心に位置しているものとする。
【００１９】
この格子点ｐを中心にしてシアン、マゼンタ、イエロ、グリーンそれぞれについて４画素×４画素の１６画素を用いて格子点ｐにおけるそれぞれの色成分（シアンＣｐ、イエロＹｐ、マゼンタＭｐ、グリーンＧｐ）の値を求める。
【００２０】
すなわち、シアンについては、図６において、Ｃ１１〜Ｃ１４、 Ｃ２１〜Ｃ２４、 Ｃ３１〜Ｃ３４、 Ｃ４１〜Ｃ４４でなる４画素×４画素の１６画素、イエロについては同様にＹ１１〜Ｙ１４、Ｙ２１〜Ｙ２４、 Ｙ３１〜Ｙ３４、Ｙ４１〜Ｙ４４でなる４画素×４画素の１６画素、マゼンタについては同様にＭ１１〜Ｍ１４、 Ｍ２１〜Ｍ２４、 Ｍ３１〜Ｍ３４、Ｍ４１〜Ｍ４４でなる４画素×４画素の１６画素、 グリーンについても同様にＧ１１〜Ｇ１４、Ｇ２１〜Ｇ２４、Ｇ３１〜Ｇ３４、Ｇ４１〜Ｇ４４でなる４画素×４画素の１６画素を用いるものとする。
【００２１】
このような範囲を設定したとき、格子点ｐにおけるシアンＣｐは、
【００２２】
【数２】
0004006908.tif 000003
【００２３】
の行列式で表される。
【００２４】
この（５）式における係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。なお、ここでは、格子点ｐにおけるシアンの値Ｃｐを求めるのであるから、図６に示すように、Ｃ１１〜Ｃ１４の存在する画素ラインを行方向画素ラインＡ１、 Ｃ２１〜Ｃ２４の存在する画素ラインを行方向画素ラインＡ２、 Ｃ３１〜Ｃ３４の存在する画素ラインを行方向画素ラインＡ３、 Ｃ４１〜Ｃ４４の存在する画素ラインを行方向画素ラインＡ４とし、Ｃ１１〜Ｃ４１の存在する画素ラインを列方向画素ラインＢ１、 Ｃ１２〜Ｃ４２の存在する画素ラインを列方向画素ラインＢ２、 Ｃ１３〜Ｃ４３の存在する画素ラインを列方向画素ラインＢ３、 Ｃ１４〜Ｃ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【００２５】
ここで、係数ｙ１は格子点ｐと行方向画素ラインＡ１との間の距離Ｄｙ１によって求められる。つまり、この場合、Ｄｙ１はＤｙ１＝1.75であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ１＝−0.046875と求められる。
【００２６】
また、係数ｙ２は格子点ｐと行方向画素ラインＡ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｙ２はＤｙ２＝0.75であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ２＝0.296875と求められる。
【００２７】
また、係数ｙ３は格子点ｐと行方向画素ラインＡ３との間の距離Ｄｙ３によって求められる。つまり、この場合、Ｄｙ３はＤｙ３＝0.25であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ３＝0.890625と求められる。
【００２８】
また、係数ｙ４は格子点ｐと行方向画素ラインＡ４との間の距離Ｄｙ４によって求められる。つまり、この場合、Ｄｙ４はＤｙ４＝1.25であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ４＝−0.140625と求められる。
【００２９】
同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求める。係数ｘ１は格子点ｐと列方向画素ラインＢ１との間の距離Ｄｘ１によって求められる。つまり、この場合、Ｄｘ１はＤｘ１＝1.75であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ１＝−0.046875と求められる。
【００３０】
また、係数ｘ２は格子点ｐと列方向画素ラインＢ２との間の距離Ｄｘ２によって求められる。つまり、この場合、Ｄｘ２はＤｘ２＝0.75であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ２＝0.296875と求められる。
【００３１】
また、係数ｘ３は格子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３によって求められる。つまり、この場合、Ｄｘ３はＤｘ３＝0.25であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ３＝0.890625と求められる。
【００３２】
また、係数ｘ４は格子点ｐと列方向画素ラインＢ４との間の距離Ｄｙ４によって求められる。つまり、この場合、Ｄｘ４はＤｘ４＝1.25であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ４＝−0.140625と求められる。
【００３３】
このようにして求められた係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列式（５）式に代入して行列演算を行えば、格子点ｐにおけるシアンＣｐが求められる。
【００３４】
次に、格子点ｐ１におけるイエロＹｐを求める。このイエロＹｐは、行列式
【００３５】
【数３】
0004006908.tif 000004
【００３６】
で表される。
【００３７】
この（６）式におけるそれぞれの係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。なお、ここでは、イエロについて求めるのであるから、図７に示すように、イエロＹ１１〜Ｙ１４の存在する画素ラインを行方向画素ラインＡ１、 Ｙ２１〜Ｙ２４の存在する画素ラインを行方向画素ラインＡ２、 Ｙ３１〜Ｙ３４の存在する画素ラインを行方向画素ラインＡ３、Ｙ４１〜Ｙ４４の存在する画素ラインを行方向画素ラインＡ４とし、Ｙ１１〜Ｙ４１の存在する画素ラインを列方向画素ラインＢ１、 Ｙ１２〜Ｙ４２の存在する画素ラインを列方向画素ラインＢ２、Ｙ１３〜Ｙ４３の存在する画素ラインを列方向画素ラインＢ３、Ｙ１４〜Ｙ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【００３８】
ここで、係数ｙ１は格子点ｐと行方向画素ラインＡ１との間の距離Ｄｙ１によって求められる。つまり、この場合、Ｄｙ１はＤｙ１＝1.75であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、 ｙ１＝−0.046875と求められる。
【００３９】
また、係数ｙ２は格子点ｐと行方向画素ラインＡ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｙ２はＤｙ２＝0.75であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ２＝0.296875と求められる。
【００４０】
また、係数ｙ３は格子点ｐと行方向画素ラインＡ３との間の距離Ｄｙ３によって求められる。この場合、Ｄｙ３はＤｙ３＝0.25であるので、上述した（２）〜（４）式のうち（２）式を用いる。これにより、ｙ３＝0.890625と求められる。
【００４１】
また、係数ｙ４は点ｐと行方向画素ラインＡ４との間の距離Ｄｙ４によって求められる。この場合、Ｄｙ４はＤｙ３＝1.25であるので、上述した（２）〜（４）式のうち（３）式を用いる。これにより、同様にして計算すると、ｙ４＝−0.140625と求められる。
【００４２】
同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求めるが、この係数ｘ１，ｘ２，ｘ３，ｘ４も係数ｙ１，ｙ２，ｙ３，ｙ４と同じようにして求められる。ただし、この場合は、格子点ｐと列方向画素ラインＢ１との間の距離Ｄｘ１（Ｄｘ１＝1.25）、格子点ｐと列方向画素ラインＢ２との間の距離Ｄｘ２（Ｄｘ２＝0.25）、格子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３（Ｄｘ３＝0.75）、格子点ｐと列方向画素ラインＢ４との間の距離Ｄｘ４（Ｄｘ４＝1.75）の距離に基づき、（２）式〜（４）式のいずれかを用いて係数ｘ１，ｘ２，ｘ３，ｘ４が求められる。ここで、 ｘ１＝−0.140625、ｘ２＝0.890625、ｘ３＝0.296875、ｘ４＝−0.046875と求められる。
【００４３】
このようにして求められた係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列式（６）式に代入して行列演算を行えば、格子点ｐにおけるイエロＹｐが求められる。
【００４４】
次に、格子点ｐ１におけるマゼンタＭｐを求める。マゼンタＭｐは行列式
【００４５】
【数４】
0004006908.tif 000005
【００４６】
で表される。
【００４７】
この（７）式におけるそれぞれの係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。ここでは、格子点ｐにおけるマゼンタの値Ｍｐを求めるのであるから、図８に示すように、マゼンタＭ１１〜Ｍ１４の存在する画素ラインを行方向画素ラインＡ１、Ｍ２１〜Ｍ２４の存在する画素ラインを行方向画素ラインＡ２、Ｍ３１〜Ｍ３４の存在する画素ラインを行方向画素ラインＡ３、Ｍ４１〜Ｍ４４の存在する画素ラインを行方向画素ラインＡ４とし、Ｍ１１〜Ｍ４１の存在する画素ラインを列方向画素ラインＢ１、 Ｍ１２〜Ｍ４２の存在する画素ラインを列方向画素ラインＢ２、Ｍ１３〜Ｍ４３の存在する画素ラインを列方向画素ラインＢ３、 Ｍ１４〜Ｍ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【００４８】
ここで、係数ｙ１は格子点ｐと行方向画素ラインＡ１との間の距離Ｄｙ１によって求められる。つまり、この場合、Ｄｙ１はＤｙ１＝1.25であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ１＝−0.140625と求められる。
【００４９】
また、係数ｙ２は格子点ｐと行方向画素ラインＡ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｙ２はＤｙ２＝0.25であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ２＝0.890625と求められる。
【００５０】
また、係数ｙ３は格子点ｐと行方向画素ラインＡ３との間の距離Ｄｙ３によって求められる。つまり、この場合、Ｄｙ３はＤｙ３＝0.75であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ３＝0.296875と求められる。
【００５１】
また、係数ｙ４は格子点ｐと行方向画素ラインＡ４との間の距離Ｄｙ４によって求められる。つまり、この場合、Ｄｙ４はＤｙ４＝1.75であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、同様にして計算すると、ｙ４＝−0.046875と求められる。
【００５２】
同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求めるが、この係数ｘ１，ｘ２，ｘ３，ｘ４も係数ｙ１，ｙ２，ｙ３，ｙ４と同じようにして求められる。ただし、この場合は、格子点ｐと列方向画素ラインＢ１との間の距離Ｄｘ１（Ｄｘ１＝1.75）、格子点ｐと列方向画素ラインＢ２との間の距離Ｄｘ２（Ｄｘ２＝0.75）、格子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３（Ｄｘ３＝0.25）、格子点ｐに対する列方向画素ラインＢ４の距離Ｄｘ４（Ｄｘ４＝1.25）の距離に基づき、（２）式〜（４）式のいずれかを用いて係数ｘ１，ｘ２，ｘ３，ｘ４が求められる。ここで、ｘ１＝−0.046875、ｘ２=0.296875、ｘ３＝0.890625、ｘ４＝−0.140625と求められる。
【００５３】
このようにして求められた係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列式（７）式に代入して行列演算を行えば、格子点ｐにおけるマゼンタＭｐが求められる。
次に、格子点ｐ１におけるグリーンＧｐを求める。グリーンＧｐは行列式
【００５４】
【数５】
0004006908.tif 000006
【００５５】
で表される。ここでは、格子点ｐにおけるグリーンの値Ｇｐを求めるのであるから、図９に示すように、グリーンＧ１１〜Ｇ１４の存在する画素ラインを行方向画素ラインＡ１、Ｇ２１〜Ｇ２４の存在する画素ラインを行方向画素ラインＡ２、Ｇ３１〜Ｇ３４の存在する画素ラインを行方向画素ラインＡ３、Ｇ４１〜Ｇ４４の存在する画素ラインを行方向画素ラインＡ４とし、グリーンＧ１１〜Ｇ４１の存在する画素ラインを列方向画素ラインＢ１、Ｇ１２〜Ｇ４２の存在する画素ラインを列方向画素ラインＢ２、Ｇ１３〜Ｇ４３の存在する画素ラインを列方向画素ラインＢ３、Ｇ１４〜Ｇ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【００５６】
上述したと同じ考え方で、係数ｙ１，ｙ２，ｙ３，ｙ４を求めるが、この場合は、格子点ｐと行方向画素ラインＡ１との間の距離Ｄｙ１（Ｄｙ１＝1.25）、格子点ｐと行方向画素ラインＡ２との間の距離Ｄｙ２（Ｄｙ２＝0.25）、格子点ｐと行方向画素ラインＡ３との間の距離Ｄｙ３（Ｄｙ３＝0.75）、格子点ｐと行方向画素ラインＡ４との間の距離Ｄｙ４（Ｄｙ４＝1.75）の距離に基づき、（２）式〜（４）式のいずれかを用いて係数ｙ１，ｙ２，ｙ３，ｙ４が求められる。ここで、ｙ１＝−0.140625、ｙ２＝0.890625、ｙ３＝0.296875、ｙ４＝−0.046875と求められる。
【００５７】
同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求めるが、この係数ｘ１，ｘ２，ｘ３，ｘ４は、格子点ｐと列方向画素ラインＢ１との間の距離Ｄｘ１（Ｄｘ１＝1.25）、格子点ｐと列方向画素ラインＢ２との間の距離Ｄｘ２（Ｄｘ２＝0.25）、格子点ｐと列方向画素ラインＢ３との間の距離Ｄｘ３（Ｄｘ３＝0.75）、格子点ｐと列方向画素ラインＢ４との間の距離Ｄｘ４（Ｄｘ４＝1.75）の距離に基づき、（２）式〜（４）式のいずれかを用いて係数ｘ１，ｘ２，ｘ３，ｘ４が求められる。ここで、ｘ１＝−0.140625、ｘ２＝0.890625、ｘ３＝0.296875、ｘ４＝−0.046875と求められる。
【００５８】
このようにして求められた係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を上述の行列式（８）式に代入して行列演算を行えば、格子点ｐにおけるグリーンＧｐが求められる。
【００５９】
【発明が解決しようとする課題】
以上説明したように色補間を行う方法は従来より各種存在するが、最初に説明した近傍の画素の色成分を単純平均した値で色補間する方法では、高品質な画像が得られない場合も多く、また、バイキュービック法による画素補間（色補間）は、確かに、画像の平滑化や鮮鋭化が図れ良好な画質が得られる利点があるが、非常に計算量が多いのが欠点である。
【００６０】
すなわち、１つの画素を補間する際の１つの色成分を求めるに必要な処理として、４×４＋４＝２０回の乗算を行う必要があるため、１画素について全ての色成分（シアン。マゼンタ、イエロ、グリーン）を求めるには、２０×４＝８０回もの乗算処理が必要となってくる。
【００６１】
また、行列式に用いられる係数ｙ１，ｙ２，ｙ３，ｙ４やｘ１，ｘ２，ｘ３，ｘ４の値は前述したように、たとえば、「−0.140625」、「0.890625」というような値であるため、ビットシフトで対応するのが困難な値となっていて、コンピュータ処理がしにくいなどの問題もある。
【００６２】
そこで本発明は、バイキュービック法による画素補間（色補間）の原理を用いながらもその計算量を大幅に削減することができ、しかも、バイキュービックによる画素補間を行ったと同じような高品質な画像を得ることができる単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体を提供することを目的とする。
【００６３】
【課題を解決するための手段】
上述した目的を達成するために、本発明のる単板式固体撮像素子の色補間方法は、基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間方法において、  色補間を行うべき位置を実際に存在する画素に選び、この画素を注目画素として、前記補間すべき色成分のうち当該注目画素がもともと有する色成分についてはそれをその色成分とし、それ以外の色成分については、前記補間すべき各色成分ごとに、前記注目画素の周囲にｍ×ｎ（ｍ，ｎは正の整数）でなる画素範囲を設定し、この設定された或る色成分におけるｍ×ｎの画素範囲の行方向画素ライン上にｍ本の行方向画素ラインを設定し、このｍ本の行方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られるｍ個の係数を求めるとともに、当該色成分におけるｍ×ｎの画素範囲の列方向画素ライン上にｎ本の列方向画素ラインを設定し、このｎ本の列方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られるｎ個の係数を求め、求められたｍ個の係数およびｎ個の係数と、前記ｍ×ｎの画素範囲に存在する画素の値とから当該注目画素の色成分を求めるようにしている。
【００６４】
また、本発明の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体は、基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、色補間を行うべき位置を実際に存在する画素に選び、この画素を注目画素として、前記補間すべき色成分のうち当該注目画素がもともと有する色成分についてはそれをその色成分とする手順と、それ以外の色成分については、前記補間すべき各色成分ごとに、前記注目画素の周囲にｍ×ｎ（ｍ，ｎは正の整数）でなる画素範囲を設定する手順と、この設定された或る色成分におけるｍ×ｎの画素範囲の行方向画素ライン上にｍ本の行方向画素ラインを設定し、このｍ本の行方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られるｍ個の係数を求めるとともに、当該色成分におけるｍ×ｎの画素範囲の列方向画素ライン上にｎ本の列方向画素ラインを設定し、このｎ本の列方向画素ラインそれぞれと前記注目画素との間の距離に基づいて得られるｎ個の係数を求める手順と、求められたｍ個の係数およびｎ個の係数と、前記ｍ×ｎの画素範囲に存在する画素の値とから当該注目画素の色成分を求める手順とを含んでいる。
【００６５】
また、前記求められたｍ個の係数およびｎ個の係数と、ｍ×ｎの画素範囲に存在する画素の値とから当該注目画素の色成分を求める演算処理は、ｍ×ｎの画素範囲におけるｍ行ｎ列の行列とｍ個の係数でなる行ベクトルとｎ個の係数でなる列ベクトルとの積をとる行列演算である。
【００６６】
そして、前記ｍ，ｎはｍ＝ｎ＝４であって、色補間すべき或る色成分について前記注目画素の周囲に４×４の画素範囲を設定するとともに、その色成分で構成される４×４の画素範囲における４本の行方向画素ラインと４本の列方向画素ラインを設定し、前記注目画素が４本の行方向画素ラインの中のいずれかの行方向画素ライン上に存在する場合には、その注目画素と４本の行方向画素ラインとの間隔が整数値で表わされ、その場合、その注目画素と４本の行方向画素ラインとの間隔から求められる４個の係数が０または１となり、また、前記注目画素が４本の列方向画素ラインの中のいずれかの列方向画素ライン上に存在する場合には、その注目画素と４本の列方向画素ラインとの間隔が整数値で表わされ、その場合、その注目画素と４本の列方向画素ラインとの間隔から求められる４個の係数が０または１となり、また、前記注目画素がいずれの行方向画素ライン上にも存在しない場合には、その注目画素と４本の行方向画素ラインとの間隔から求められる４個の係数の値がビットシフトで対応可能な値で表わされ、前記注目画素がいずれの列方向画素ライン上にも存在しない場合には、その注目画素と４本の列方向画素ラインとの間隔から求められる４個の係数がビットシフトで対応可能な値で表せる。
【００６７】
これら各発明において、前記注目画素の周囲にｍ×ｎの画素範囲を設定する際、当該注目画素を中心とした上下左右対称となるｍ×ｎの画素範囲の設定が行えない場合は、すでに処理の終了した画素を優先して含むようなｍ×ｎの画素範囲設定を行うようにしている。
【００６８】
本発明は、原理的にはバイキュービック法による画素補間（色補間）の原理を用いるのであるが、色補間を行うべき位置を実際に存在する画素に選ぶようにする。これによって、従来から行われているバイキュービック法に比べて、計算量を大幅に削減することができ、しかも、バイキュービックによる画素補間を行ったと同じような高品質な画像を得ることができる。
【００６９】
そして、求められたｍ個の係数およびｎ個の係数と、ｍ×ｎの画素範囲に存在する画素の値とから当該注目画素の色成分を求める演算処理は、ｍ×ｎの画素範囲におけるｍ行ｎ列の行列とｍ個の係数でなる行ベクトルとｎ個の係数でなる列ベクトルとの積をとる演算処理であり、このとき、本発明では、それぞれライン間距離から求められる係数の値が０または１となることも多く、このため、行列演算を大幅に簡略化することができる。また、それぞれライン間距離から求められる係数の値が０または１とならない場合であっても、それぞれの係数の値を、計算機がビットシフトで対応できる数値とすることができ、計算機の処理負担を小さくすることができ処理の高速化を図ることできる。
【００７０】
また、注目画素の周囲にｍ×ｎの画素範囲を設定する際、注目画素を中心とした上下左右対称となるｍ×ｎの画素範囲の設定が行えない場合は、すでに処理の終了した画素を優先して含むような画素範囲設定を行うようにする。このようにすでに色補間がなされた画素を、限られた範囲内で少しでも多く使うことによって、処理後の画像全体を高品質なものとすることができる。
【００７１】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明の単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体における画素補間処理プログラムの具体的な処理内容をも含むものである。
【００７２】
本発明は基本的な原理としては前述した従来技術の項で説明したバイキュービック法を用いるのであるが、本発明では格子点ではなく実際に画素の存在する位置で色補間を行うようにしている。以下、具体例について説明する。
【００７３】
本発明の実施の形態を説明する画素配列に対する色成分配列は前述のバイキュービック法の説明で用いた図６〜図９と同じものを使用する。
【００７４】
従来では実際に存在しない画素を補間する例として格子点ｐの画素補間（色補間）を行う例について説明したが、ここでは、補間する画素の位置を少し変えて実際に存在する画素での色補間を行うようにしたことに特徴がある。
【００７５】
この実施の形態では、シアンＣ３３の位置（点ｑとする）に存在する画素（注目画素という）の色補間を行う例について説明する。この場合、その注目画素におけるシアンの色成分はシアンＣ３３の値をそのまま使用する。したがって、それ以外のイエロ、マゼンタ、グリーンを求めればよい。なお、求めようとするイエロ、マゼンタ、グリーンをイエロＹｑ、マゼンタＭｑ、グリーンＧｑとする。そして、イエロＹｑは図１、マゼンタＭｑは図２、グリーンＧｑは図３を参照しながら説明する。
【００７６】
また、ここでも、１つ１つの色成分について注目画素の周辺に存在する４×４の画素範囲を用いる。ただし、色成分によっては注目画素を中心とした左右上下対称となる４×４の画素範囲を設定できない場合も生じるので、その場合は、すでに処理の終了した画素を優先した画素範囲の設定を行う。たとえば、１つの画像について最上段の画素ラインについて最も左に存在する画素から右方向へと処理を行い、次のラインについても最も左に存在する画素から右方向へと処理を行うというように、画像全体で見れば左上から右下へと処理を行ういわゆるラスタスキャン的な処理を行う場合には、注目画素を基準として左方向や上方向に存在する画素を優先して４×４の画素範囲を設定するようにする。
【００７７】
この図１〜図３の例においては、点ｑにおけるイエロＹｑを求める際には、イエロＹ１１〜Ｙ１４、Ｙ２１〜Ｙ２４、Ｙ３１〜Ｙ３４、Ｙ４１〜Ｙ４４で構成される４画素×４画素の１６画素を用い、点ｑにおけるマゼンタＭｑを求める際は、マゼンタＭ１１〜Ｍ１４、Ｍ２１〜Ｍ２４、Ｍ３１〜Ｍ３４、Ｍ４１〜Ｍ４４で構成される４画素×４画素の１６画素を用い、また、点ｑにおけるグリーンＧｑを求める際には、グリーンＧ１１〜Ｇ１４、Ｇ２１〜Ｇ２４、Ｇ３１〜Ｇ３４、Ｇ４１〜Ｇ４４で構成される４画素×４画素の１６画素を用いる。
【００７８】
このような処理範囲の設定を行ったあとは、前述の（２）〜（４）式を用いてそれぞれの係数を求める。
【００７９】
まず、イエロについて考える。求めるべきイエロＹｐは、前述したように、（６）式で求められる。
【００８０】
この（６）式におけるそれぞれの係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。なお、ここでは、イエロについて求めるのであるから、図１に示すように、イエロＹ１１〜Ｙ１４の存在する画素ラインを行方向画素ラインＡ１、 Ｙ２１〜Ｙ２４の存在する画素ラインを行方向画素ラインＡ２、 Ｙ３１〜Ｙ３４の存在する画素ラインを行方向画素ラインＡ３、Ｙ４１〜Ｙ４４の存在する画素ラインを行方向画素ラインＡ４とし、イエロＹ１１〜Ｙ４１の存在する画素ラインを列方向画素ラインＢ１、Ｙ１２〜Ｙ４２の存在する画素ラインを列方向画素ラインＢ２、 Ｙ１３〜Ｙ４３の存在する画素ラインを列方向画素ラインＢ３、Ｙ１４〜Ｙ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【００８１】
ここで、まず、係数ｙ１，ｙ２，ｙ３，ｙ４を求める。係数ｙ１はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ１との間の距離Ｄｙ１によって求められる。つまり、この場合、Ｄｙ１はＤｙ１＝２であるので、上述した（２）〜（４）式のうち（４）式を用いる。これによって、ｙ１＝０と求められる。
【００８２】
また、係数ｙ２はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｙ２はＤｙ２＝１であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ２＝０と求められる。
【００８３】
また、係数ｙ３はシアンＣ３３（点ｑ）の画素位置と行方向画素ラインＡ３との間の距離Ｄｙ３によって求められる。この場合、点ｑは行方向画素ラインＡ３上に存在するので、Ｄｙ３＝０となり、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ３＝１と求められる。
【００８４】
また、係数ｙ４はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ４との間の距離Ｄｙ４によって求められる。この場合、Ｄｙ４はＤｙ４＝１であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ４＝０と求められる。
【００８５】
次に、係数ｘ１，ｘ２，ｘ３，ｘ４を求める。係数ｘ１はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ１との間の距離Ｄｘ１によって求められる。つまり、この場合、Ｄｘ１はＤｘ１＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ１＝−0.125と求められる。
【００８６】
また、係数ｘ２はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ２との間の距離Ｄｘ２によって求められる。つまり、この場合、Ｄｘ２はＤｘ２＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ２＝0.625と求められる。
【００８７】
また、係数ｘ３はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ３との間の距離Ｄｘ３によって求められる。つまり、この場合、Ｄｘ３はＤｘ３＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ３＝0.625と求められる。
【００８８】
また、係数ｘ４はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ４との間の距離Ｄｘ４によって求められる。つまり、この場合、Ｄｘ４はＤｘ４＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ４＝−0.125と求められる。
【００８９】
このようにして求められた係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を（６）式に代入して行列演算を行えば、求めるべきＹｑは、
Ｙｑ＝−0.125×Y31＋0.625×Y32＋0.625×Y33−0.125×Y34        （９）
となる。なお、（６）式の行列式は、この場合、行ベクトルであるｙ１，ｙ２，ｙ３，ｙ４がｙ１＝０，ｙ２＝０，ｙ３＝１，ｙ４＝０であるので、簡略化された行列式となって結局は（９）式のように求められる。
【００９０】
次に、マゼンタＭ３３を求める。マゼンタＭｐは、前述した（７）式の行列式で表される。
【００９１】
この（７）式におけるそれぞれの係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。なお、ここでは、マゼンタについて求めるのであるから、図２に示すように、マゼンタＭ１１〜Ｍ１４の存在する画素ラインを行方向画素ラインＡ１、 Ｍ２１〜Ｍ２４の存在する画素ラインを行方向画素ラインＡ２、 Ｍ３１〜Ｍ３４の存在する画素ラインを行方向画素ラインＡ３、Ｍ４１〜Ｍ４４の存在する画素ラインを行方向画素ラインＡ４とし、マゼンタＭ１１〜Ｍ４１の存在する画素ラインを列方向画素ラインＢ１、Ｍ１２〜Ｍ４２の存在する画素ラインを列方向画素ラインＢ２、 Ｍ１３〜Ｍ４３の存在する画素ラインを列方向画素ラインＢ３、Ｍ１４〜Ｍ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【００９２】
ここで、係数ｙ１はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ１との間の距離Ｄｙ１によって求められる。つまり、この場合、Ｄｙ１はＤｙ１＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ１＝−0.125と求められる。
【００９３】
また、係数ｙ２はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｙ２はＤｙ２＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ２＝0.625と求められる。
【００９４】
また、係数ｙ３はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ３との間の距離Ｄｙ３によって求められる。この場合、Ｄｙ３はＤｙ３＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ３＝0.625と求められる。
【００９５】
また、係数ｙ４はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ４との間の距離Ｄｙ４によって求められる。つまり、この場合、Ｄｙ４はＤｙ４＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ４＝−0.125と求められる。
【００９６】
同様に、係数ｘ１，ｘ２，ｘ３，ｘ４を求める。係数ｘ１はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ１との間の距離Ｄｘ１によって求められる。つまり、この場合、Ｄｘ１はＤｙ１＝２であるので、上述した（２）〜（４）式のうち（４）式を用いる。これによって、ｘ１＝０と求められる。
【００９７】
また、係数ｘ２はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ２との間の距離Ｄｘ２によって求められる。つまり、この場合、Ｄｘ２はＤｘ２＝１であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ２＝０と求められる。
【００９８】
また、係数ｘ３はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ３との間の距離Ｄｘ３によって求められる。つまり、この場合、点ｑは列方向画素ラインＢ３上に存在するので、Ｄｘ３＝０であり、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ３＝１と求められる。
【００９９】
また、係数ｘ４はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ４との間の距離Ｄｘ４によって求められる。つまり、この場合、Ｄｘ４はＤｘ４＝１であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ４＝０と求められる。
【０１００】
このようにして求められた係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を（７）式に代入すれば、求めるべきＭｐは、
Ｍｐ＝−0.125×M13＋0.625×M23＋0.625×M33−0.125×M43      （１０）
となる。なお、（７）式の行列演算を行う際、列ベクトルｘ１，ｘ２，ｘ３，ｘ４は、 ｘ１＝０，ｘ２＝０，ｘ３＝１，ｘ４＝０であるので、簡略化された行列式となって結局は（１０）式のように求められる。
【０１０１】
次にグリーンについて求める。グリーンＧｐは、前述した（８）式の行列式で表される。
【０１０２】
この（８）式におけるそれぞれの係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。なお、ここでは、グリーンについて求めるのであるから、図３に示すように、グリーンＧ１１〜Ｇ１４の存在する画素ラインを行方向画素ラインＡ１、Ｇ２１〜Ｇ２４の存在する画素ラインを行方向画素ラインＡ２、 Ｇ３１〜Ｇ３４の存在する画素ラインを行方向画素ラインＡ３、Ｇ４１〜Ｇ４４の存在する画素ラインを行方向画素ラインＡ４とし、グリーンＧ１１〜Ｇ４１の存在する画素ラインを列方向画素ラインＢ１、Ｇ１２〜Ｇ４２の存在する画素ラインを列方向画素ラインＢ２、Ｇ１３〜Ｇ４３の存在する画素ラインを列方向画素ラインＢ３、Ｇ１４〜Ｇ４４の存在する画素ラインを列方向画素ラインＢ４とする。
【０１０３】
ここで、まず、係数ｙ１，ｙ２，ｙ３，ｙ４を求める。係数ｙ１はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ１との間の距離Ｄｙ１によって求められる。つまり、この場合、Ｄｙ１はＤｙ１＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ１＝−0.125と求められる。
【０１０４】
また、係数ｙ２はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｙ２はＤｙ２＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ２＝0.625と求められる。
【０１０５】
また、係数ｙ３はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ３との間の距離Ｄｙ３によって求められる。つまり、この場合、Ｄｙ３はＤｙ３＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｙ３＝0.625と求められる。
【０１０６】
また、係数ｙ４はシアンＣ３３の画素位置（点ｑ）と行方向画素ラインＡ４との間の距離Ｄｙ４によって求められる。つまり、この場合、Ｄｙ４はＤｙ４＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｙ４＝−0.125と求められる。
【０１０７】
次に、係数ｘ１，ｘ２，ｘ３，ｘ４を求める。係数ｘ１はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ１との間の距離Ｄｘ１によって求められる。つまり、この場合、Ｄｘ１はＤｘ１＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ１＝−0.125と求められる。
【０１０８】
また、係数ｘ２はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ２との間の距離Ｄｙ２によって求められる。つまり、この場合、Ｄｘ２はＤｘ２＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ２＝0.625と求められる。
【０１０９】
また、係数ｘ３はシアンＣ３３の画素位置（点ｑ）と列方向画素ラインＢ３との間の距離Ｄｘ３によって求められる。この場合、Ｄｘ３はＤｘ３＝0.5であるので、上述した（２）〜（４）式のうち（２）式を用いる。これによって、ｘ３＝0.625と求められる。
【０１１０】
また、係数ｘ４はシアンＣ３３の画素位置（点ｑ）と列方向顔ラインＢ４との間の距離Ｄｘ４によって求められる。つまり、この場合、Ｄｘ４はＤｘ４＝1.5であるので、上述した（２）〜（４）式のうち（３）式を用いる。これによって、ｘ４＝−0.125と求められる。
【０１１１】
このようにして求められた係数定数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を（８）式に代入して行列演算を行うことでＧｐが求められる。
【０１１２】
このように、この実施の形態によれば、イエロとマゼンタについては、注目画素であるシアンＣ３３の画素とそれぞれの画素ラインまでの距離に基づいて求められる係数が０や１となる場合も多く、これによって、行列演算を大幅に簡略化することができる。
【０１１３】
すなわち、この実施の形態におけるイエロやマゼンタの場合、それらの色成分による４×４の画素範囲を設定し、それぞれの行方向画素ラインおよび列方向画素ラインを設定すると、図１および図２からもわかるように、イエロの場合は行方向画素ラインＡ１〜Ａ４のうち行方向画素ラインＡ３上に注目画素（点ｑ）が存在し（図１参照）、マゼンタの場合は列方向画素ラインＢ１〜Ｂ４のうち列方向画素ラインＢ３上に注目画素（点ｑ）が存在する（図２参照）。このような場合、注目画素（点ｑ）からのそれぞれの画素ラインまでの距離が整数値（ここでは、０または１または２）で表され、それをその数値に応じて（２）〜（４）式のいずれかに代入すると、係数ｙ１，ｙ２，ｙ３，ｙ４やｘ１，ｘ２，ｘ３，ｘ４の値が０や１となる。
【０１１４】
このように、係数ｙ１，ｙ２，ｙ３，ｙ４やｘ１，ｘ２，ｘ３，ｘ４の値が０や１となれば、前述した行列式は簡略化されたものとなる。
【０１１５】
結局、この実施の形態では、注目画素の色補間を行う際に必要な演算量としては、４＋４＋４×４＋４＝２８となり、従来の８０回に比べその演算回数を大幅に削減できる。
【０１１６】
また、この実施の形態では、係数ｙ１，ｙ２，ｙ３，ｙ４やｘ１，ｘ２，ｘ３，ｘ４の値が０や１とならない場合であっても、その値は、0.125や0.625というようにビットシフトで対応できる数値となるため、計算機での処理を行う上できわめて都合のよいものとなる。
【０１１７】
このように、本発明は、バイキュービック法による画素補間（色補間）の原理を用いながらもその計算量を大幅に削減することができ、しかも、バイキュービックによる画素補間を行ったと同じような高品質な画像を得ることができる。
【０１１８】
なお、前述の実施の形態では、注目画素をシアンＣ３３の位置に存在する画素とした場合について説明したが、注目画素を次の画素に移しても同じような考え方で実現できる。たとえば、注目画素をＹ３３の位置に存在する画素とした場合には、補間すべき色成分としてはイエロはＹ３３をそのまま用い、シアン、マゼンタ、グリーンについて補間すべき値を求めればよい。このとき、イエロＹ３３の周囲に、シアン、マゼンタ、グリーンそれぞれについて４×４の画素範囲を設定し、それぞれに色成分における４×４の画素範囲における行方向画素ラインと列方向画素ラインを設定して、注目画素からの距離に基づく係数ｙ１，ｙ２，ｙ３，ｙ４とｘ１，ｘ２，ｘ３，ｘ４を求める。そして、これらの係数とそれぞれの色成分における４×４の行列とによりシアン、マゼンタ、グリーンを求めればよい。この求め方は前述の実施の形態に準じて行うことができるので、ここではその説明は省略する。
【０１１９】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施の形態では、基本となる色成分としてシアン、マゼンタ、イエロ、グリーンといった補色系での説明を行ったが、本発明は、Ｒ（赤）・Ｇ（グリーン）・Ｂ（青）の原色系であっても同様に実施できる。
【０１２０】
また、以上説明した本発明の処理を行う単板式固体撮像素子の画素補間処理プログラムは、フロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその記録媒体をも含むものである。また、ネットワークから処理プログラムを得るようにしてもよい。
【０１２１】
【発明の効果】
以上説明したように本発明によれば、色補間を行うべき位置を実際に存在する画素に選ぶようにすることで、バイキュービック法による画素補間（色補間）の原理を用いながらも従来から行われているバイキュービック法に比べて、計算量を大幅に削減することができ、しかも、バイキュービックによる画素補間を行ったと同じような高品質な画像を得ることができる。しかも演算に用いられる係数の値が、計算機がビットシフトで対応できる数値として求められるので、計算機の処理負担を小さくすることができ処理の高速化を図ることできる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明する色成分配列の一例を示すもので、注目画素におけるイエロの色補間を行う処理を説明する図である。
【図２】本発明の実施の形態を説明する色成分配列の一例を示すもので、注目画素におけるマゼンタの色補間を行う処理を説明する図である。
【図３】本発明の実施の形態を説明する色成分配列の一例を示すもので、注目画素におけるグリーンの色補間を行う処理を説明する図である。
【図４】注目画素に対する従来の色補間について説明する色成分配列の一例を示すものである。
【図５】バイキュービック法について説明する図であり、ある１つの色成分について４×４の画素範囲を設定して画素補間すべき点に対する画素補間を行う処理を説明する図である。
【図６】バイキュービック法の具体的な画素補間例を説明する色成分配置例であり、画素補間すべき点におけるシアンの値を求める処理を説明する図である。
【図７】バイキュービック法の具体的な画素補間例を説明する色成分配置例であり、画素補間すべき点におけるイエロの値を求める処理を説明する図である。
【図８】バイキュービック法の具体的な画素補間例を説明する色成分配置例であり、画素補間すべき点におけるマゼンタの値を求める処理を説明する図である。
【図９】バイキュービック法の具体的な画素補間例を説明する色成分配置例であり、画素補間すべき点におけるグリーンの値を求める処理を説明する図である。
【符号の説明】
Ａ１〜Ａ４  行方向画素ライン
Ｂ１〜Ｂ４  列方向画素ライン
ｑ  色補間すべき点
Ｃ１１〜Ｃ４４  シアン
Ｙ１１〜Ｙ４４  イエロ
Ｍ１１〜Ｍ４４  マゼンタ
Ｇ１１〜Ｇ４４  グリーン
【図１】
0004006908.tif 000007
【図２】
0004006908.tif 000008
【図３】
0004006908.tif 000009
【図４】
0004006908.tif 000010
【図５】
0004006908.tif 000011
【図６】
0004006908.tif 000012
【図７】
0004006908.tif 000013
【図８】
0004006908.tif 000014
【図９】
0004006908.tif 000015