(57)【特許請求の範囲】
【請求項１】
複数の画素列で構成された二次元の配列をなす複数の画素が、すべての上記画素列において等しい間隔で配され、かつ、奇数行目の上記画素列における上記画素の位置と偶数行目の上記画素列における上記画素の位置が上記等しい間隔の半分だけ上記画素列の方向にずれた関係にあるときに、上記すべての画素列において上記等しい間隔で配された上記画素のそれぞれ中間の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法において、
Ｎを任意の整数としたとき、任意に選んだ第１の画素列に存在して互いに隣り合う第１の画素および第２の画素の中間の位置である第１の補間位置に対し、上記第１の画素列上にあって上記第１の補間位置から上記第１の画素の方向に向かってＮ番目に存在する画素である第１の端点画素と、上記第１の画素列上にあって上記第１の補間位置から上記第２の画素の方向に向かってＮ番目に存在する画素である第２の端点画素と、上記第１の補間位置から上記画素列の方向と垂直に引いた第１の直線上にあって上記第１の補間位置から一方向に向かってＮ番目に存在する画素である第３の端点画素と、上記第１の直線上にあって上記第１の補間位置から上記第３の端点画素とは反対の方向に向かってＮ番目に存在する画素である第４の端点画素とを頂点とした四角形内にある画素の信号を取り出し、
上記四角形内にある画素の信号を上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸に対して直交変換を行うことによって二次元の周波数係数群を生成し、
上記二次元の周波数係数群を用い、生成する信号の間隔を上記等しい間隔の半分に設定した逆変換によって少なくとも上記第１の補間位置に対応する補間信号を生成することを特徴とした単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【請求項２】
上記複数の画素列で構成された二次元の配列をなす複数の画素が、撮像面に２次元状に配置された複数の画素の各々に分光感度特性の異なる複数種の微小フィルタを一定の繰り返し周期で、なおかつ、特定の種類の上記微小フィルタがすべての画素列において１画素おきに、しかも隣り合う画素列では互いに補間する関係に配置された固体撮像素子における上記特定の種類の上記微小フィルタに対応する画素であることを特徴とした請求項１記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【請求項３】
上記任意の整数であるＮは２であることを特徴とした請求項１あるいは請求項２記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【請求項４】
上記任意の整数であるＮは４であることを特徴とした請求項１あるいは請求項２記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【請求項５】
上記直交変換は離散コサイン変換であることを特徴とした請求項１ないし請求項４記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【請求項６】
複数の画素列で構成された二次元の配列をなす複数の画素が、すべての上記画素列において等しい間隔で配され、かつ、奇数行目の上記画素列における上記画素の位置と偶数行目の上記画素列における上記画素の位置が上記等しい間隔の半分だけ上記画素列の方向にずれた関係にあるときに、上記すべての画素列において上記等しい間隔で配された上記画素のそれぞれ中間の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法において、
Ｎを任意の整数としたとき、任意に選んだ第１の画素列に存在して互いに隣り合う第１の画素および第２の画素の中間の位置である第１の補間位置に対し、上記第１の画素列上にあって上記第１の補間位置から上記第１の画素の方向に向かってＮ番目に存在する画素である第１の端点画素と、上記第１の画素列上にあって上記第１の補間位置から上記第２の画素の方向に向かってＮ番目に存在する画素である第２の端点画素と、上記第１の補間位置から上記画素列の方向と垂直に引いた第１の直線上にあって上記第１の補間位置から一方向に向かってＮ番目に存在する画素である第３の端点画素と、上記第１の直線上にあって上記第１の補間位置から上記第３の端点画素とは反対の方向に向かってＮ番目に存在する画素である第４の端点画素とを頂点とした四角形内にある画素の信号を取り出し、
上記四角形内にある画素の信号に対して上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸を二つの軸とする二次元の離散コサイン変換を周波数の次数が偶数である周波数に対して行うことによってＮの二乗個の周波数係数からなる二次元の周波数係数群を生成し、
上記二次元の周波数係数群を用い、生成する信号の間隔を上記等しい間隔の半分に設定した逆変換によって上記第１の補間位置に対応する補間信号を生成することを特徴とした単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【請求項７】
上記複数の画素列で構成された二次元の配列をなす複数の画素が、撮像面に２次元状に配置された複数の画素の各々に分光感度特性の異なる複数種の微小フィルタを一定の繰り返し周期で、なおかつ、特定の種類の上記微小フィルタがすべての画素列において１画素おきに、しかも隣り合う画素列では互いに補間する関係に配置された固体撮像素子における上記特定の種類の上記微小フィルタに対応する画素であることを特徴とした請求項６記載の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、ベイヤ配列の単板カラーカメラにおいて市松状に配された緑色信号等、隣接するライン上の画素位置がライン方向に画素の繰り返し周期の半分だけずれた、インタリーブの関係にある信号に対し、欠落した画素の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法に関する。
【０００２】
【従来の技術】
近年、普及の速度が著しい電子スチルカメラの多くは、固体撮像素子を１つだけ用いてカラーの画像信号を得る単板カラーカメラで構成されている。単板カラーカメラでは、固体撮像素子の画素ごとに透過光の異なる微小な色フィルタを組み合わせることによってカラー画像の生成に必要なＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の信号を得ている。ここで微小な色フィルタの配列の一例として、電子スチルカメラでの主流である、いわゆる原色形ベイヤ配列を図２に示す。
【０００３】
図２に示す原色形ベイヤ配列では、固体撮像素子の各画素に対応する微小フィルタのうち、Ｇを透過する微小フィルタがすべての水平画素列において水平方向に１画素おきに、なおかつ奇数番目の水平画素列と偶数番目の水平画素列では水平方向に１画素分だけずれた、インタリーブの関係に配置されている。一方、Ｒを透過する微小フィルタは奇数番目の水平画素列のＧの間にある画素に配置され、Ｂを透過する微小フィルタは偶数番目の水平画素列のＧの間にある画素に配置されている。この結果、全体の構成は水平方向２画素、垂直方向２画素の部分が繰り返される構成となっている。
【０００４】
単板カラーカメラでは、色フィルタを組み合わせた固体撮像素子からＲ、Ｇ、Ｂの信号を取り出してカラー画像を得る。このとき、画像の解像度に関わる輝度信号Ｙは、ＮＴＳＣ方式では次の（１）式の関係で生成される。
【０００５】
Ｙ＝０．３０・Ｒ＋０．５９・Ｇ＋０．１１・Ｂ          （１）
【０００６】
（１）式の関係から、画像の解像度は大きな割合を占めるＧの解像度に大きく関わることがわかる。このことから、固体撮像素子のＲ、Ｂの画素に対してＧ信号を補間し、すべての画素に対するＧ信号が得られれば、画像の解像度向上が期待できる。
【０００７】
また、Ｇ信号がすべての画素で得られると、ＧとＲ、Ｂの低周波成分の相関を利用してＧの位置のＲ、Ｂ信号を補間する場合に、補間信号の精度向上が見込める。すなわちＲ、ＢとＧを同じ画素位置で得られると、たとえば５画素程度の狭い範囲内でもＲ、ＢとＧに対して帯域の一致したローパスフィルタが構成できるので、両者の低周波成分の比がより高精度で得られる。こうしたＧとＲ、Ｂの低周波成分の相関を利用してＧの位置のＲ、Ｂ信号を補間する方法についてはここでは詳しく説明しないが、たとえば公開特許公報の特開平１１−２４３５５４が提案されいる。
【０００８】
インタリーブの関係にあるＧの信号を補間する一般的な方法は、次のとおりである。たとえば図２に示した原色形ベイヤ配列において水平方向の画素位置が（２ｍ＋１）、垂直方向の画素位置が（２ｎ＋１）であるＲの信号をＲ（２ｍ＋１，２ｎ＋１）とあらわすものとする（以後、同様）。このとき、実在しないＧ（２ｍ＋１，２ｎ＋１）に対する補間信号として、実在するＧ（２ｍ＋１，２ｎ）とＧ（２ｍ＋１，２ｎ＋２）の平均値、あるいはＧ（２ｍ，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋１）の平均値、あるいはこれら４画素の平均値を用いる。
【０００９】
こうした加算平均の演算から得られる信号は、Ｇ信号にローパスフィルタの処理を施したことにほかならないので、補間信号を欠落する画素の位置に組み込んだあとのＧ信号の解像度は若干低下する。そこで、解像度を低下することなくベイヤ配列の単板カラーカメラで得られるＧ信号を補間する方法が、公開特許公報の特開平９−８４０３１、特開平１０−１０８２０９、特開平１１−２７５３７３等で提案されている。
【００１０】
こうした公開特許公報に述べられている方法は、いずれも、Ｇが欠落した画素の位置におけるＧ信号を、その周辺の画素の信号から判定した相関の方向性に対応して、水平方向に隣接するＧの画素から生成した補間信号、あるいは垂直方向に隣接するＧの画素から生成した補間信号のうちのいづれかを選択して補間するものである。すなわち、図２に示す配列において実在しないＧ（２ｍ＋１，２ｎ＋１）を、画像の水平方向の変化が垂直方向の変化よりも小さいと判定したときにはＧ（２ｍ，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋１）の平均値で補間し、画像の垂直方向の変化が水平方向の変化よりも小さいと判定したときにはＧ（２ｍ＋１，２ｎ）とＧ（２ｍ＋１，２ｎ＋２）の平均値で補間する。
【００１１】
この結果、変化の大きな方向の信号を加算平均するローパスフィルタの処理を行わないので、補間後のＧ信号の周波数特性が低下することがない。このとき補間信号の生成に用いるのは、変化の小さい方向の信号であるからもともと高域の周波数成分は少なく、加算平均してローパスフィルタの処理を施しても周波数特性の低下には結びつかない。このように、公開特許公報に述べられている方法によると、画像の方向性の判定が正しくなされれば、解像度を低下させることなくＧ信号を補間できる。
【００１２】
画像の方向性の判定は、特開平１０−１０８２０９では周辺のＧの画素信号から求めることとしている。すなわち、実在しないＧ（２ｍ＋１，２ｎ＋１）の補間信号を生成する際は、Ｇ（２ｍ，２ｎ＋１）とＧ（２ｍ＋２，２ｎ＋１）の差から水平方向の変化を検出し、Ｇ（２ｍ＋１，２ｎ）とＧ（２ｍ＋１，２ｎ＋２）の差から垂直方向の変化を検出する。ところが、２つの画素の差信号は、両者での位相が等しくなる周波数で出力が”０”になることから、ここでは画素間隔の２倍の逆数に対応する周波数、すなわち画素のサンプリング周波数ｆｓの１／２倍に等しい周波数ｆｓ／２周辺の成分が”０”となる。ｆｓ／２の周波数はＲとＢのサンプリング周波数に等しいので、Ｒ信号とＢ信号からｆｓ／２の周波数成分を正しく得ることも期待できず、画像がｆｓ／２の周波数成分を多く含む場合には補間信号の解像度向上は望めない。
【００１３】
特開平９−８４０３１における画像の方向性の判定方法も周辺のＧの画素信号を利用するものであり、特開平１０−１０８２０９と同様の問題点を持つ。また、特開平１１−２７５３７３では、補間する画素の位置で得られるＲあるいはＢの画素信号と周辺のＧの画素信号から画像の方向性の判定を行うことが述べられている。すなわち、実在しないＧ（２ｍ＋１，２ｎ＋１）の補間信号を生成する際は、Ｒ（２ｍ＋１，２ｎ＋１）とＧ（２ｍ，２ｎ＋１）あるいはＧ（２ｍ＋２，２ｎ＋１）の差から水平方向の変化を検出し、Ｒ（２ｍ＋１，２ｎ＋１）とＧ（２ｍ＋１，２ｎ）あるいはＧ（２ｍ＋１，２ｎ＋２）の差から垂直方向の変化を検出する。こうした隣り合う２画素から求めた差信号には周波数ｆｓ／２の周波数成分が含まれるので、広い周波数帯域にわたって方向性の判定が可能だが、彩度の高い被写体ではＲとＧの差信号に色彩に起因する差が含まれるので、方向性の判定結果の信頼性は低下する。
【００１４】
一方、画素のサンプリング点を補間して増やす一つの方法として、実在のサンプリング点に対して離散コサイン変換（以後”ＤＣＴ”）を行い、得られた周波数係数を用いて逆変換（以後”ＩＤＣＴ”）する際にＤＣＴに用いた実在の画素間隔の半分の周期で画素を再生する方法が知られている。こうした方法では、用いる周波数係数が同一であるので補間前の信号と補間後の信号の間で周波数帯域が変わらず、周波数特性を低下させることなく画素の補間ができる。こうした方法の具体例が、たとえば公開特許公報の特開平１１−２６１８０７に述べられている。
【００１５】
ＤＣＴとＩＤＣＴによる画素補間の方法の概要を、図３ないし図５を用いて説明する。図３は補間前の画素の配列を示す図であり、ＤＣＴの１ブロック分である水平８画素×垂直８画素を示した。水平方向の画素位置を示す番号ｉは左端から右端へ０から７であり、垂直方向の画素位置を示す番号ｊは最上部から最下部へ０から７である。ここで、水平方向の画素位置がｉで垂直方向の画素位置がｊである画素の信号をｘ（ｉ，ｊ）とおき、ＤＣＴによって得られる周波数係数をＦ（ｕ，ｖ）とおくと、Ｆ（ｕ，ｖ）は次の（２）式であることが知られている。ここで、ｕは水平周波数、ｖは垂直周波数である。
【００１６】
【数１】
0003965457.tif 000002
【００１７】
（２）式において、ＮはＤＣＴの処理を施す１ブロックの水平方向および垂直方向の画素数であり、図３では８である。（２）式で得られる周波数係数Ｆ（ｕ，ｖ）は、ｕおよびｖがともに０から７までである。（２）式のコサインの項から、ｕ（またはｖ）＝０の周波数は画素によって位相が変わらない直流であり、ｕ（またはｖ）＝１の周波数では１ブロック内にある７画素間隔の間でｃｏｓ（ＰＡＩ／１６）からｃｏｓ（１５・ＰＡＩ／１６）まで変化する。ここで、”ＰＡＩ”は円周率である。これは、ブロックの周期の８画素間隔ではちょうどＰＡＩの位相変化に対応するので、８画素間隔が１／２周期にあたる周波数ｆｓ／１６である。ｕ（またはｖ）＝２、３、４、．．．、７ではその２、３、４、．．．、７倍であることから、（２）式で得られる周波数係数Ｆ（ｕ，ｖ）においてｕ（またはｖ）が取る最大の周波数は７・ｆｓ／１６である。この結果、Ｆ（ｕ，ｖ）が存在するのは図４に点で示した周波数の位置となる。図４において、水平方向は水平周波数、垂直方向は垂直周波数をあらわし、各点はＦ（ｕ，ｖ）の大きさはあらわさずに存在する周波数の位置のみをあらわすものとする。
【００１８】
また、Ｆ（ｕ，ｖ）を用いたＩＤＣＴの処理によって、図３に示した各画素位置に対応するもとの画素信号ｘ（ｉ，ｊ）を再生するには、次の（３）式を用いればよいことが知られている。
【００１９】
【数２】
0003965457.tif 000003
【００２０】
ここで、（３）式の２・ｉ、２・ｊをｉ’、ｊ’に置き換えた次の（４）式にしたがって、それぞれ０から１５までのｉ’およびｊ’に対するｘ’（ｉ’，ｊ’）を求めると、図５に示すｉ’、ｊ’の各位置に画素信号ｘ’（ｉ’，ｊ’）が再生される。
【００２１】
【数３】
0003965457.tif 000004
【００２２】
（３）式と（４）式の比較から、ｉ、ｊの各値におけるｘ（ｉ，ｊ）は、ｉ’、ｊ’がその２倍の値であるときのｘ’（ｉ’，ｊ’）に対応する。すなわち、ｉ’＝０、２、４、６、８、．．．、１４の画素位置はｉ＝０、１、２、３、４、．．．、７に対応し、ｊ’＝０、２、４、６、８、．．．、１４の画素位置はｊ＝０、１、２、３、４、．．．、７に対応する。このことから、図５に白抜きの点で示した画素位置は図３に示した元の画素位置に対応し、図５に黒点で示した画素位置は補間された画素である。このとき補間された画素を含めた画素信号の再生には周波数係数Ｆ（ｕ，ｖ）を用いているのであるから、周波数特性を変化させることなく画素の補間が達成される。
【００２３】
なお、ｉ’＝１５あるいはｊ’＝１５に対応する画素の補間信号は、画素位置の左方向、あるいは上方向の画素信号のみを用いて生成したものであるから、隣接するブロックの画素信号とつながりにくい場合がある。そこで、特開平１１−２６１８０７では各ブロックの端の画素列を隣接するブロックの間で重複して用いることで、画素位置の左方向、あるいは上方向の画素信号のみを用いて生成した補間信号を用いないこととして、隣接ブロックとのつながりを改善している。
【００２４】
こうした方法をベイヤ配列の単板カラーカメラで得られるＧの画素信号にそのまま適用し、欠落する画素のＧを補間することはできない。すなわち、図２に示したようにベイヤ配列ではＧが画素列ごとにインタリーブした関係にあることから、図３に示した１ブロック内の画素にＧのみを当てはめると、たとえば図６のようになる。図６において、白抜きの点で示した画素はＧが実在する位置で、黒点で示した位置はＧが欠落した位置を示す。元の画素位置で既に欠落した信号は、ＤＣＴとＩＤＣＴの処理を経ても”０”としてそのまま再生されるので、画素数を補間したところで欠落したＧの補間には効果がない。
【００２５】
インタリーブの関係にある画素にＤＣＴの処理を施す方法として、公開特許公報の特開平１−２５６２８８が提案されているが、補間処理を行うときは周波数特性が著しく低下するので問題である。すなわち、特開平１−２５６２８８で述べられている方法は、インタリーブの関係にある画素を奇数行の画素と偶数行の画素に二分して、それぞれ別々にＤＣＴの処理を施すものである。これによると、分割したそれぞれの信号では画素の間隔が撮像素子の画素間隔の２倍になるので、取りうる周波数の帯域はｆｓ／４より低い帯域であり、撮像素子の画素数で決まる周波数帯域の半分になる。ＩＤＣＴの処理によって元の画素信号を再生し、そのまま２つの信号を合成する場合は、折り返し成分が保存されて有効な周波数帯域が元に戻るので問題ないが、ＩＤＣＴの処理で画素を補間する場合には、ｆｓ／４より高い周波数帯域の折り返し成分が失われるので元に戻らず、周波数特性が著しく低下する。
【００２６】
【発明が解決しようとする課題】
以上述べたように、欠落した画素位置での相関の方向性を判定して、対応する補間信号を選択する従来の単板カラーカメラの市松配列緑色信号の補間方法では、相関の方向性が正しく判定できた場合には周波数帯域を低下させることなく補間信号を生成することが期待できるが、画像が広い周波数帯域を持つ場合、あるいは彩度が高い場合などを含むあらゆる条件での正しい方向性の判定が難しいという問題がある。また、ＤＣＴとＩＤＣＴの処理の過程で画素を増加する従来の画素の補間方法を単板カラーカメラの市松配列緑色信号にそのまま流用すると、周波数帯域を低下させずに補間信号を生成することができないという問題がある。
【００２７】
本発明は、上記従来技術の問題点に鑑み、あらゆる画像の条件で周波数帯域を低下させることなく欠落した画素位置での補間信号を生成できる、単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法を提供することを目的とする。
【００２８】
【課題を解決するための手段】
上記課題を解決するために本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法は、複数の画素列で構成された二次元の配列をなす複数の画素が、すべての上記画素列において等しい間隔で配され、かつ、奇数行目の上記画素列における上記画素の位置と偶数行目の上記画素列における上記画素の位置が上記等しい間隔の半分だけ上記画素列の方向にずれた関係にあるときに、上記すべての画素列において上記等しい間隔で配された上記画素のそれぞれ中間の位置に対応する補間信号を生成する単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法において、Ｎを任意の整数としたとき、任意に選んだ第１の画素列に存在して互いに隣り合う第１の画素および第２の画素の中間の位置である第１の補間位置に対し、上記第１の画素列上にあって上記第１の補間位置から上記第１の画素の方向に向かってＮ番目に存在する画素である第１の端点画素と、上記第１の画素列上にあって上記第１の補間位置から上記第２の画素の方向に向かってＮ番目に存在する画素である第２の端点画素と、上記第１の補間位置から上記画素列の方向と垂直に引いた第１の直線上にあって上記第１の補間位置から一方向に向かってＮ番目に存在する画素である第３の端点画素と、上記第１の直線上にあって上記第１の補間位置から上記第３の端点画素とは反対の方向に向かってＮ番目に存在する画素である第４の端点画素とを頂点とした四角形内にある画素の信号を取り出し、上記四角形内にある画素の信号を上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸に対して直交変換を行い、上記直交変換で生成された係数を用いた倍密度の逆変換を少なくとも上記第１の補間位置に対して行う。
【００２９】
ここで上記任意の整数であるＮを２とするとＤＣＴの処理に用いる画素数が水平４画素×垂直４画素となるので、直交変換と逆変換に要する演算量が少なくてすむ。また、Ｎを４とするとＤＣＴの処理に用いる画素数が水平８画素×垂直８画素となるので、ＪＰＥＧ等の処理で用いられる画素数と一致し、汎用のＬＳＩを流用することが可能となる。
【００３０】
【作用】
本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法によれば、上記第３の端点画素と上記第２の端点画素を結ぶ第１の軸と上記第３の端点画素と上記第１の端点画素を結ぶ第２の軸を選ぶことで、インタリーブの関係にある画素配列をすべての格子点に画素が存在する画素配列に変換できるので、直交変換と逆変換を利用して画素の間に対応する補間信号を生成することができる。
【００３１】
このとき補間信号の生成を行う逆変換には、実在の画素信号から得た周波数係数をそのまま用いるので、補間信号の周波数特性が低下することはない。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３３】
図１は、ベイヤ配列の単板カラーカメラの信号処理のうち、本発明の実施の形態によるＧ信号の補間処理のみを示すブロック図である。図１において、固体撮像素子１から得られる画素信号はＡ／Ｄ変換器２でディジタル信号に変換される。ここで、固体撮像素子１には図２に示したベイヤ配列のフィルタが組み合わされているものとする。Ａ／Ｄ変換器２から得られたディジタルの画素信号はプロセッサ３に加えられる。プロセッサ３は、Ａ／Ｄ変換器２から加えられた画素信号をメモり４へ順次記録する。なおかつプロセッサ３は、Ｇが欠落する画素位置の補間信号生成を目的としたＤＣＴの処理に必要なＧの画素信号を、メモリ４から読み出すことで同時化して配列変換器５に加える。配列変換器５は、プロセッサ３から受け取ったＤＣＴの処理に必要なＧの画素信号を、ＤＣＴの演算に都合がよい配列に変換して、ＤＣＴプロセッサ６に出力する。ＤＣＴプロセッサ６は、配列変換器５から加えられた画素信号から周波数係数を演算してＩＤＣＴプロセッサ７に加える。ＩＤＣＴプロセッサ７は、ＤＣＴプロセッサ６から加えられた周波数係数に基づいて、欠落する画素位置のＧの補間信号を生成する。ＩＤＣＴプロセッサ７で生成された補間信号は、合成器８に加えられる。合成器８には同時に、プロセッサ３から出力された実在する画素のＧ信号を、補間信号との空間的な位置関係が一致するよう遅延回路９によって時間調整された信号が加えられる。合成器８は、遅延回路９から実在する画素のＧ信号が得られるときはこれを出力し、実在する画素のＧ信号が得られないときはＩＤＣＴプロセッサ７から得られる補間信号を出力するよう動作する。
【００３４】
ここで、プロセッサ３から配列変換器５に加える画素信号は、たとえば図７に示すベイヤ配列のＧの画素のみを抜き出した画素の位置を表す図における（２ｍ＋１，２ｎ＋１）の補間信号を生成する際には、図７において実線１００で示した範囲内にある１６画素分の信号である。
【００３５】
配列変換器５は、加えられた１６画素の信号を次のように置き換える。すなわち、図７における（２ｍ＋１，２ｎ−２）と（２ｍ＋４，２ｎ＋１）を結ぶ方向にｋ軸を取り、（２ｍ＋１，２ｎ−２）と（２ｍ−２，２ｎ＋１）を結ぶ方向にｌ軸を取ってｚ（ｋ，ｌ）に対して次の対応をとる。
【００３６】
ｚ（０，０）＝ｘ（２ｍ＋１，２ｎ−２）      （５）
【００３７】
ｚ（１，０）＝ｘ（２ｍ＋２，２ｎ−１）      （６）
【００３８】
ｚ（２，０）＝ｘ（２ｍ＋３，２ｎ）          （７）
【００３９】
ｚ（３，０）＝ｘ（２ｍ＋４，２ｎ＋１）      （８）
【００４０】
ｚ（０，１）＝ｘ（２ｍ，２ｎ−１）          （９）
【００４１】
ｚ（１，１）＝ｘ（２ｍ＋１，２ｎ）          （１０）
【００４２】
ｚ（２，１）＝ｘ（２ｍ＋２，２ｎ＋１）      （１１）
【００４３】
ｚ（３，１）＝ｘ（２ｍ＋３，２ｎ＋２）      （１２）
【００４４】
ｚ（０，２）＝ｘ（２ｍ−１，２ｎ）          （１３）
【００４５】
ｚ（１，２）＝ｘ（２ｍ，２ｎ＋１）          （１４）
【００４６】
ｚ（２，２）＝ｘ（２ｍ＋１，２ｎ＋２）      （１５）
【００４７】
ｚ（３，２）＝ｘ（２ｍ＋２，２ｎ＋３）      （１６）
【００４８】
ｚ（０，３）＝ｘ（２ｍ−２，２ｎ＋１）      （１７）
【００４９】
ｚ（１，３）＝ｘ（２ｍ−１，２ｎ＋２）      （１８）
【００５０】
ｚ（２，３）＝ｘ（２ｍ，２ｎ＋３）          （１９）
【００５１】
ｚ（３，３）＝ｘ（２ｍ＋１，２ｎ＋４）      （２０）
【００５２】
これらの画素信号に対してＤＣＴプロセッサ６は、次の（２１）式の関係から周波数係数Ｆ（ａ，ｂ）を得るものとする。
【００５３】
【数４】
0003965457.tif 000005
【００５４】
このとき得られるＦ（ａ，ｂ）の取りうる周波数の位置は図８に示すものとなる。図８に示す周波数範囲では、周波数ｕ、ｖに対してｕ＝（ｆｓ／２）、ｖ＝（ｆｓ／２）へ向かう斜め方向の周波数範囲が縮小している。しかし、ｕ＝（ｆｓ／２）、ｖ＝（ｆｓ／２）の周波数は元々Ｇに折り返し信号が発生する周波数位置であるので、これによって再生画像での劣化が問題となることはない。ＤＣＴプロセッサ６で生成された１６個の周波数係数Ｆ（ａ，ｂ）を加えられたＩＤＣＴプロセッサ７は、次の（２２）式にしたがって補間信号ｚ’（ｋ’，ｌ’）を生成するものとする。
【００５５】
【数５】
0003965457.tif 000006
【００５６】
従来例の説明における（３）式と（４）式の関係からわかるように、ｋ’＝３、ｌ’＝３とおいたとき（２２）式で得られる補間信号ｚ’（３、３）は、４つの画素信号ｚ（１，１）、ｚ（２，１）、ｚ（１，２）、ｚ（２，２）の中間の画素に対応する。ｚ（１，１）、ｚ（２，１）、ｚ（１，２）、ｚ（２，２）は、それぞれ（１０）、（１１）、（１４）、（１５）式の関係にあるので、結局、補間信号ｚ’（３，３）は図７における（２ｍ＋１，２ｎ＋１）に対応したものとなる。このとき用いる周波数係数Ｆ（ａ，ｂ）は、図８に示す範囲のものであるので、補間信号の周波数特性は元の実在する画素の周波数特性と変わらない。この結果、合成器８からは実在する画素のＧ信号と、欠落した画素位置の補間信号が合成されて、実効の周波数特性が実在の画素のものと変わらず、固体撮像素子１の全画素に対応したＧの画素信号が得られる。
【００５７】
同様に、（２ｍ＋３，２ｎ＋１）に対応した補間信号を得るには、図７に点線１０１で示した範囲内の１６の画素信号をプロセッサ３から配列変換器５に加え、これにＤＣＴおよびＩＤＣＴの処理を施せばよい。
【００５８】
なお、図１に示す実施の形態では、処理をわかりやすく説明するために配列変換器５とＤＣＴプロセッサ６を分けているが、本発明の主旨はインタリーブの関係にある画素信号を、すべての格子点に画素がある方向に軸を変えてからＤＣＴの処理を行うことにある。したがって、加えられた画素信号に対して同様のＤＣＴの処理を施せるＤＣＴプロセッサを用いれば、分割する必要がないことは明らかである。
【００５９】
また、上述の説明は、１度のＤＣＴおよびＩＤＣＴの処理でブロックの中央に対応する補間信号のみを生成するものとして説明したが、中央以外の位置に対応する補間信号を同時に生成することもできる。すなわち、上述の説明では図７に実線１００で示した範囲内の１６画素を用いた処理で、（２ｍ＋１，２ｎ＋１）に対応する補間信号を生成する方法のみ述べたが、ｉ’＝１、ｊ’＝３として補間信号ｚ’（１，３）を求めれば、ｚ（０，１）、ｚ（０，２）、ｚ（１，１）、ｚ（１，２）の間の画素に対応する補間信号が得られ、これは（９）、（１３）、（１０）、（１４）式の関係から図７の（２ｍ，２ｎ）に対応するものであることがわかる。同様にして、図７に実線１００で示した範囲内の画素位置に対応する補間信号を求めることができる。このとき、周辺に近い位置に対応する補間信号ほど、範囲外の画素とのつながりが考慮されないことによる誤差が増大する可能性があるが、１度のＤＣＴおよびＩＤＣＴの処理で複数の補間信号を生成すると、総合の演算量を小さくできる。
【００６０】
なお、１度のＤＣＴおよびＩＤＣＴの処理でブロックの中央に対応する補間信号のみを生成する場合には、これに対応するｋ’＝３、ｌ’＝３で（２２）式におけるコサインの項が奇数の周波数ａ，ｂに対して”０”となることから、ａあるいはｂが奇数である周波数係数の演算を必要としないことがわかる。これにより、ＤＣＴプロセッサ６、ＩＤＣＴプロセッサ７等の演算量を軽減できる。
【００６１】
また、上述の説明では、ＤＣＴの処理を横方向４画素、縦方向４画素の合計１６画素を用いて行うものとしたが、一般的なＪＰＥＧなどのＤＣＴのプロセッサと同様に、横方向８画素、縦方向８画素の合計６４画素を用いても良いことは明らかである。このとき、図７に示す画素位置（２ｍ＋１，２ｎ＋１）に対応する補間信号を生成する際には、図７に細線１０２で示した範囲内の画素信号を用いればよい。このとき、（２ｍ＋１，２ｎ＋１）に対応する補間信号だけでなく、細線１０２で示した範囲内の他の画素位置の補間信号を生成できることも、横方向４画素、縦方向４画素の場合と同様である。
【００６２】
また、図７で示したように、補間前の画素の水平方向の間隔と垂直方向の間隔が等しい場合は、ＤＣＴプロセッサに加える画素の範囲が正方形になる。これに対して、元の画素の水平方向の間隔と垂直方向の間隔が等しくないと、ＤＣＴプロセッサに加える画素の範囲が正方形でなくなる。こうした場合は、変換した後の画素配列の２つの軸は直角でなくなるので、得られた周波数係数を標準的なＩＤＣＴのプロセッサで復調して直角軸上に並べると元の画素の位置とは違ったものとなるのは明らかである。しかし、周波数係数を用いて補間信号の生成を行うことを目的とする場合には周波数係数の汎用性は必要ないので、ゆがんだ軸に並んだ画素信号を、直角をなす軸上の画素でゆがんだ画像をサンプリングしたものとみなして画素間の信号を生成すればよく、画素配列の軸のゆがみは問題とならない。こうした理由により、元の画素の水平方向の間隔と垂直方向の間隔が異なる場合にも、本発明の実施の形態で同様の効果が得られることがわかる。
【００６３】
また、上述の説明は、ベイヤ配列の単板カラーカメラにおいて市松状に配置されたＧの画素信号に対して、欠落した位置に対応する補間信号を生成する場合を例にとった。しかし、広く、隣接するライン間で画素が互いにインタリーブの関係にある画像信号に対して欠落した位置の画素信号を生成する場合に適用できることは明らかである。
【００６４】
【発明の効果】
以上説明したように、本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法によれば、隣接するライン間で画素が互いにインタリーブの関係にある画像信号に対して、周波数特性を実在の画素から得られるものと変えることなく、あらゆる条件の画像に対して欠落した位置の画素信号を生成できる。
【図面の簡単な説明】
【図１】本発明の単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法による実施の形態の構成を示す図である。
【図２】本発明に関わる単板カラーカメラに使用される色フィルタの配列の一例を示す図である。
【図３】ＤＣＴの処理の説明に用いる画素位置をあらわす図である。
【図４】ＤＣＴの処理で得られる周波数係数の周波数領域での位置を表す図である。
【図５】ＤＣＴおよび倍密度のＩＤＣＴの処理で得られる画素の位置を表す図である。
【図６】インタリーブの関係にある画素信号に対するＤＣＴでの画素位置をあらわす図である。
【図７】本発明の実施の形態における画素配列の変換を説明する図である。
【図８】本発明の実施の形態における画素配列の変換で得られる周波数係数の周波数領域での位置を表す図である。
【符号の説明】
１    固体撮像素子
２    Ａ／Ｄ変換器
３    プロセッサ
４    メモリ
５    配列変換器
６    ＤＣＴプロセッサ
７    ＩＤＣＴプロセッサ
８    合成器
９    遅延回路
【図１】
0003965457.tif 000007
【図２】
0003965457.tif 000008
【図３】
0003965457.tif 000009
【図４】
0003965457.tif 000010
【図５】
0003965457.tif 000011
【図６】
0003965457.tif 000012
【図７】
0003965457.tif 000013
【図８】
0003965457.tif 000014