(57)【特許請求の範囲】
【請求項１】
入射光を青色光からなる第１の光と、赤色光からなる第２の光と、緑色光からなる第３の光にそれぞれ色分解する色分解光学系と、
前記第１の光が入射されて青色光の撮像信号を出力する青色光用で通常解像度の第１の固体撮像素子と、
前記第２の光が入射されて赤色光の撮像信号を出力する赤色光用で通常解像度の第２の固体撮像素子と、
前記第３の光が入射されて緑色光の撮像信号を出力すると共に、その画素位置が前記第１及び第２の固体撮像素子の画素位置に対して相対的に垂直方向及び水平方向にそれぞれ所定画素ピッチずれるように配置された緑色光用で通常解像度の第３の固体撮像素子とを有し、
前記第１乃至第３の固体撮像素子よりそれぞれ取り出される三原色信号に基づいて、各原色信号の低域信号成分である第１乃至第３の低域色信号を演算により生成する第１乃至第３の低域色信号生成回路と、
前記第１及び第２の固体撮像素子よりそれぞれ取り出される青色信号と赤色信号を加算平均したＲＢ信号を生成する加算平均回路と、
前記第３の固体撮像素子より取り出された緑色信号と前記ＲＢ信号のうち、注目画素の周辺の複数の画素の前記緑色信号及び前記ＲＢ信号の一方又は両方を用いて重み付け演算して注目画素の高域輝度信号を生成すると共に、前記注目画素の周辺の複数の画素の前記緑色信号及び前記ＲＢ信号の両方を用いて重み付け演算して、垂直周波数成分が０で、水平高周波数成分のみを含む補助高域輝度信号を生成する第１の信号生成回路と、
前記第１乃至第３の低域色信号生成回路より取り出された第１乃至第３の低域色信号と前記第１の信号生成回路より取り出された前記高域輝度信号及び補助高域輝度信号とを入力として受け、少なくとも前記第１乃至第３の低域色信号から所定のマトリクス演算により生成した低域輝度信号と前記高域輝度信号及び補助高域輝度信号とを加算して広帯域輝度信号を生成する第２の信号生成回路と
を有することを特徴とする画像信号処理装置。
【請求項２】
入射光を青色光からなる第１の光と、赤色光からなる第２の光と、緑色光からなる第３の光にそれぞれ色分解する色分解光学系と、
前記第１の光が入射されて青色光の撮像信号を出力する青色光用で通常解像度の第１の固体撮像素子と、
前記第２の光が入射されて赤色光の撮像信号を出力する赤色光用で通常解像度の第２の固体撮像素子と、
前記第３の光が入射されて緑色光の撮像信号を出力すると共に、その画素位置が前記第１及び第２の固体撮像素子の画素位置に対して相対的に垂直方向及び水平方向にそれぞれ所定画素ピッチずれるように配置された緑色光用で通常解像度の第３の固体撮像素子とを有し、
前記第１乃至第３の固体撮像素子よりそれぞれ取り出される三原色信号に基づいて、各原色信号の低域信号成分である第１乃至第３の低域色信号を演算により生成する第１乃至第３の低域色信号生成回路と、
前記第１及び第２の固体撮像素子よりそれぞれ取り出される青色信号と赤色信号を加算平均したＲＢ信号を生成する加算平均回路と、
前記第３の固体撮像素子より取り出された緑色信号と前記ＲＢ信号のうち、注目画素の周辺の複数の画素の前記緑色信号及び前記ＲＢ信号の一方又は両方を用いて重み付け演算して注目画素の高域輝度信号を生成すると共に、前記注目画素の周辺の複数の画素の前記緑色信号及び前記ＲＢ信号の両方を用いて重み付け演算して、垂直周波数成分が０で、水平高周波数成分のみを含む補助高域輝度信号を生成する信号生成回路と、
前記第１及び第２の低域色信号生成回路から出力された同じ画素の前記第１及び第２の低域色信号のそれぞれに前記補助高域輝度信号を加算すると共に、前記第３の低域色信号生成回路から取り出された前記第３の低域色信号のうち、前記第１及び第２の低域色信号とは異なる画素の第３の低域色信号に前記補助高域輝度信号を加算する第１の加算手段と、
前記第１乃至第３の低域色信号生成回路から出力された前記第１乃至第３の低域色信号のそれぞれに前記高域輝度信号を加算する第２の加算手段と
を有し、前記第１及び第２の加算手段をそれぞれ通して第１乃至第３の広帯域色信号を出力することを特徴とする画像信号処理装置。
【請求項３】
前記第３の固体撮像素子の画素位置を、前記第１及び第２の固体撮像素子の画素位置に対して水平方向と垂直方向にそれぞれ相対的に１／２画素ピッチずつずらして配置したことを特徴とする請求項１又は２記載の画像信号処理装置。
【請求項４】
前記第１の加算手段は、前記青色信号及び赤色信号が存在しない画素位置の前記第１及び第２の低域色信号に対して前記補助高域輝度信号を加算し、前記緑色信号が存在しない画素位置の前記第３の低域色信号に対して前記補助高域輝度信号を加算することを特徴とする請求項２記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置に係り、特にＮＴＳＣ方式やＰＡＬ方式、ＶＧＡ等の通常解像度の固体撮像素子を利用して、ハイビジョン方式などの高精細度の画像信号を得る画像信号処理装置に関する。
【０００２】
【従来の技術】
ＮＴＳＣ方式やＰＡＬ方式、ＶＧＡ等の通常解像度の画像信号に比し高精細度のハイビジョン方式画像信号を得る撮像装置として、専用の撮像装置は信号処理速度に高速度が要求され、また高消費電力で周辺の使用デバイスも高度の精度が要求され、極めて高価である。このため、標準テレビジョン方式画像信号用固体撮像素子を利用してハイビジョン方式画像信号を得る画像信号処理装置が従来より知られている。
【０００３】
上記の従来の画像信号処理装置では、図１１に示す如き色分解光学系を有し、図１２に示す如き信号生成回路を有する。図１１に示す色分解光学系は、入射光から青色（Ｂ）光成分を取り出すためのＢプリズム１０と、Ｂプリズム１０からダイクロイック膜１０ａを透過した光から赤色（Ｒ）光成分を取り出すためのＲプリズム１１と、Ｒプリズム１１の透過光から緑色（Ｇ）光成分を取り出すためのＧプリズム１２と、Ｂプリズム１０からダイクロイック膜１０ａ及びＢプリズム１０の入射面でそれぞれ反射されて取り出された青色光が青補正フィルタ１３を通して入射される青色用固体撮像素子１６Ｂと、Ｒプリズム１１のダイクロイック膜１１ａ及びＲプリズム１１の入射面でそれぞれ反射されて取り出された赤色光が赤補正フィルタ１４を通して入射される赤色用固体撮像素子１６Ｒと、Ｇプリズム１２及び緑補正フィルタ１５をそれぞれ透過した緑色光が入射される緑色光用固体撮像素子１６Ｇとより構成されている。
【０００４】
固体撮像素子１６Ｂ、１６Ｒ、１６Ｇはそれぞれ電荷結合素子（ＣＣＤ）により構成されており、ハイビジョン方式のアスペクト比１６：９に相当する例えばＰＡＬ方式撮像素子のエリアに含まれる８０４×５１６画素からそれぞれ構成されている。これら固体撮像素子１６Ｂ、１６Ｒ、１６Ｇからそれぞれ取り出された青色信号Ｂ、赤色信号Ｒ及び緑色信号Ｇは、対応して設けられた増幅器１７Ｂ、１７Ｒ及び１７Ｇで増幅された後、後述する図１２の構成の信号生成回路１８に供給されて高解像度の映像信号に変換されて出力される。
【０００５】
ここで、解像力向上のために、Ｂ用及びＲ用の固体撮像素子１６Ｂ及び１６Ｒは、Ｇ用の固体撮像素子１６Ｇに対してそれぞれ１／２画素ピッチ、垂直方向と水平方向のそれぞれにずらして配置しているため、各固体撮像素子１６Ｂ、１６Ｒ及び１６Ｇの間の画素位置関係は、図１３に示すようになる。同図中、ＰＨは水平方向の画素ピッチ（固体撮像素子１板単位）、ＰＶは垂直方向の画素ピッチ（固体撮像素子１板単位）を示し、また、ＧはＧ用の固体撮像素子１６Ｇの画素位置、Ｒ／ＢはそれぞれＢ用及びＲ用の固体撮像素子１６Ｂ及び１６Ｒの画素位置を示す（つまり、Ｂ用及びＲ用の固体撮像素子１６Ｂ及び１６Ｒの画素位置は同じ位置にある。）。また、括弧内の数値は座標位置を示す。
【０００６】
ここで、図１３から分かるように、画素位置関係は、垂直方向２画素、水平方向２画素の計４画素単位で繰り返す構成となっている。従って、以下の説明では、画素位置（４，４）、（４，５）、（５，４）及び（５，５）の４画素を例にとって、その信号処理について説明する。なお、他の画素の処理も同様に行うことは勿論である。
【０００７】
図１１及び図１２に示す信号生成回路１８は、垂直方向及び水平方向の解像度の向上を図るため、入力された上記のＢ信号、Ｒ信号及びＧ信号に基づいて、画素情報の存在しない位置（図１３で空白の画素位置）の成分を重み付け演算し、広帯域輝度信号ＹＷ、色差信号ＲＬ−ＹＬ、色差信号ＢＬ−ＹＬ、広帯域緑色信号ＧＷ、広帯域青色信号ＢＷ、広帯域赤色信号ＲＷなどを生成して、高解像度の映像信号として出力する。
【０００８】
図１４は上記の信号生成回路１８によって生成された高解像度の映像信号のうち、広帯域緑色信号ＧＷの画面での画素位置を示す。なお、広帯域輝度信号ＹＷ、色差信号ＲＬ−ＹＬ、色差信号ＢＬ−ＹＬ、広帯域青色信号ＢＷ、広帯域赤色信号ＲＷについても、図１４と同様の画素位置である。
【０００９】
信号生成回路１８の動作について更に説明するに、図１２において、固体撮像素子１６Ｇ、１６Ｂ及び１６Ｒからそれぞれ取り出されたアナログ信号である原色信号Ｇ、Ｂ及びＲは、ＡＤ変換器（ＡＤＣ）２１Ｇ、２１Ｂ及び２１Ｒに別々に供給されて、ディジタル化された後、メモリ（ＭＥＭ）２２Ｇ、２２Ｂ及び２２Ｒに供給されて書き込まれる。メモリ（ＭＥＭ）２２Ｇ、２２Ｂ及び２２Ｒに書き込まれたＧ、Ｂ及びＲのディジタル原色信号は、それぞれ後段の信号生成処理部で必要な画素位置の信号が読み出される。
【００１０】
ＧＬ信号生成回路２３Ｇは、ＭＥＭ２２Ｇから読み出されたディジタルＧ信号から、以下のような演算処理を行って、低域緑色信号ＧＬを生成する。例えば、Ｇ信号が存在する画素位置（４，４）の低域緑色信号GL(4,4)は、図１５に示すように、
GL(4,4)＝(2/8)G(4,2)＋(2/8)G(4,6)＋(2/8)G(6,4)＋(2/8)G(2,4)
なる演算により生成する。また、Ｇ信号が存在しない画素位置（５，４）の低域緑色信号GL(5,4)は、図１６に示すように、
0003666350.tif 000002
なる周辺の６画素を用いた補間演算（重み付け演算）により生成する。同様に、Ｇ信号が存在しない画素位置（４，５）の低域緑色信号GL(4,5)は、図１７に示すように、
GL(4,5)＝(1/8)G(2,4)＋(1/8)G(2,6)＋(2/8)G(4,4)＋(2/8)G(4,6)＋(1/8)G(6,4)＋(1/8)G(6,6)
なる周辺の６画素を用いた補間演算（重み付け演算）により生成する。また、Ｇ信号が存在しないが、Ｒ信号及びＢ信号が存在する画素位置（５，５）の低域緑色信号GL(5,5)は、図１８に示すように、
GL(5,5)＝(2/8)G(4,4)＋(2/8)G(4,6)＋(2/8)G(6,4)＋(2/8)G(6,6)
なる周辺の４画素を用いた補間演算（重み付け演算）により生成する。
【００１１】
また、図１２のＲＬ信号生成回路２３Ｒ、ＢＬ信号生成回路２３Ｂは、ＭＥＭ２２Ｒ、２２Ｂから読み出されたディジタルＲ信号、ディジタルＢ信号から、以下のような演算処理を行って、低域赤色信号ＲＬ、低域青色信号ＢＬをそれぞれ生成する。例えば、画素位置（４，４）の低域赤色信号RL(4,4)、低域青色信号BL(4,4)は、図１９に示すように、
RL(4,4)＝(2/8)R(3,3)＋(2/8)R(3,5)＋(2/8)R(5,3)＋(2/8)R(5,5)
BL(4,4)＝(2/8)B(3,3)＋(2/8)B(3,5)＋(2/8)B(5,3)＋(2/8)B(5,5)
なる演算により生成する。また、Ｒ信号、Ｂ信号が存在しない画素位置（５，４）の低域赤色信号RL(5,4)、低域青色信号BL(5,4)は、図２０に示すように、
0003666350.tif 000003
なる周辺の６画素を用いた補間演算（重み付け演算）により生成する。同様に、Ｒ信号、Ｂ信号が存在しない画素位置（４，５）の低域赤色信号RL(4,5)、低域青色信号BL(4,5)は、図２１に示すように、
0003666350.tif 000004
なる周辺の６画素を用いた補間演算（重み付け演算）により生成する。また、Ｒ信号、Ｂ信号が存在する画素位置（５，５）の低域赤色信号RL(5,5)、低域青色信号BL(5,5)は、図２２に示すように、
RL(5,5)＝(2/8)R(3,5)＋(2/8)R(5,3)＋(2/8)R(5,7)＋(2/8)R(7,5)
BL(5,5)＝(2/8)B(3,5)＋(2/8)B(5,3)＋(2/8)B(5,7)＋(2/8)B(7,5)
なる周辺の４画素を用いた補間演算（重み付け演算）により生成する。
【００１２】
また、図１２のＲＢ信号処理部２４は、ＭＥＭ２２Ｂから読み出されたディジタルＢ信号及びＭＥＭ２２Ｒから読み出されたディジタルＲ信号を、次式により加算平均する演算を行い、ＲＢ信号を生成する。
【００１３】
ＲＢ（ｘ，ｙ）＝（Ｒ（ｘ，ｙ）＋Ｂ（ｘ，ｙ））／２
【００１４】
ＹＨ生成回路２５は、ＭＥＭ２２Ｇから読み出されたディジタルＧ信号とＲＢ生成処理部２４から出力されたＲＢ信号とから、以下のような演算処理を行って、高域輝度信号ＹＨを生成する。なお、本明細書において、「高域」は、演算係数の総和が０であるもの、すなわち、直流（ＤＣ）成分を含まない信号を意味する。また、前述した低域緑色信号ＧＬ、低域青色信号ＢＬ及び低域赤色信号ＲＬなどの「低域」は、演算係数の総和が０でないもの、すなわち、直流（ＤＣ）成分を含む信号を意味する。
【００１５】
ＹＨ生成回路２５は、例えば、Ｇ信号が存在する画素位置（４，４）の高域輝度信号YH(4,4)は、図２３に示すように、
0003666350.tif 000005
なる演算により生成する。また、信号が存在しない画素位置（５，４）の高域輝度信号YH(5,4)は、図２４に示すように、
0003666350.tif 000006
なる周辺の１２画素を用いた補間演算（重み付け演算）により生成する。
【００１６】
同様に、信号が存在しない画素位置（４，５）の高域輝度信号YH(4,5)は、図２５に示すように、
0003666350.tif 000007
なる周辺の１２画素を用いた補間演算（重み付け演算）により生成する。また、ＲＢ信号が存在する画素位置（５，５）の高域輝度信号YH(5,5)は、図２６に示すように、
0003666350.tif 000008
なる演算により生成する。
【００１７】
図１２の加算回路２６Ｇは上記の高域輝度信号ＹＨ及び低域緑色信号ＧＬとを、次式
ＧＷ（ｘ，ｙ）＝ＧＬ（ｘ，ｙ）＋ＹＨ（ｘ，ｙ）
で示すように、同じ画素位置の信号同士で加算して、広帯域緑色信号ＧＷを出力する。同様に、加算回路２６Ｂ、２６Ｒは、それぞれ次式の演算により広帯域青色信号ＢＷ及び広帯域赤色信号ＲＷを生成して出力する。
【００１８】
ＢＷ（ｘ，ｙ）＝ＢＬ（ｘ，ｙ）＋ＹＨ（ｘ，ｙ）
ＲＷ（ｘ，ｙ）＝ＲＬ（ｘ，ｙ）＋ＹＨ（ｘ，ｙ）
【００１９】
また、図１２の広帯域輝度信号及び色差信号生成回路２７は、以下の演算式に基づく演算を行って、広帯域輝度信号ＹＷと色差信号（ＢＬ−ＹＬ）と色差信号（ＲＬ−ＹＬ）を生成する。なお、ＹＬは低域輝度信号である。
【００２０】
YL(x,y)＝0.7154 GL(x,y)＋0.2125 RL(x,y)＋0.0721 BL(x,y)
ＹＷ（ｘ，ｙ）＝ＹＬ（ｘ，ｙ）＋ＹＨ（ｘ，ｙ）
（ＢＬ−ＹＬ）（ｘ，ｙ）＝ＢＬ（ｘ，ｙ）−ＹＬ（ｘ，ｙ）
（ＲＬ−ＹＬ）（ｘ，ｙ）＝ＲＬ（ｘ，ｙ）−ＹＬ（ｘ，ｙ）
なお、上記の低域輝度信号ＹＬを生成するためのマトリクス演算の係数は、ハイビジョン方式信号の一例である。
【００２１】
【発明が解決しようとする課題】
しかるに、上記の従来の画像信号処理装置では、水平解像度の向上が十分でないという問題がある。これは以下の理由による。上記の従来の画像信号処理装置で生成される広帯域緑色信号ＧＷ（５，４）、ＧＷ（５，５）、広帯域青色信号ＢＷ（４，４）、ＢＷ（４，５）、広帯域赤色信号ＲＷ（４，４）、ＲＷ（４，５）の水平周波数特性は図２７に示すようになる。
【００２２】
ここで、図２７において、縦軸は広帯域信号の利得であり、マイナス側は位相反転している成分を示し、横軸は周波数でｆHは水平方向のサンプリング周波数で、１／ＰＨに等しい。なお、垂直方向のサンプリング周波数ｆVは１／ＰＶに等しい。図２７から分かるように、広帯域緑色信号ＧＷ（５，４）、ＧＷ（５，５）、広帯域青色信号ＢＷ（４，４）、ＢＷ（４，５）、広帯域赤色信号ＲＷ（４，４）、ＲＷ（４，５）の水平周波数特性は、周波数ｆH／２以下ではゲイン１以上になり、周波数ｆH／２以上では急峻に減衰して（３／４）ｆH以下で０以下となっている。
【００２３】
これは、上記の低域原色信号ＧＬ（５，４）、ＧＬ（５，５）、ＢＬ（４，４）、ＢＬ（４，５）、ＲＬ（４，４）、ＲＬ（４，５）が周波数ｆH／２以上では位相反転している特性であるためである。広帯域輝度信号ＹＷについても、広帯域輝度信号ＹＷは上記特性のＧＬ、ＢＬ、ＲＬ及び高域輝度信号ＹＨから演算により生成されているので、同様の傾向の水平周波数特性を示す。なお、広帯域原色信号ＧＷ（４，４）、ＧＷ（４，５）、ＢＷ（５，４）、ＢＷ（５，５）、ＲＷ（５，４）、ＲＷ（５，５）の水平周波数特性については、全帯域で利得１である（図示せず）。
【００２４】
本発明は以上の点に鑑みなされたもので、水平解像度をより向上し得る画像信号処理装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像信号処理装置は、入射光を青色光からなる第１の光と、赤色光からなる第２の光と、緑色光からなる第３の光にそれぞれ色分解する色分解光学系と、第１の光が入射されて青色光の撮像信号を出力する青色光用で通常解像度の第１の固体撮像素子と、第２の光が入射されて赤色光の撮像信号を出力する赤色光用で通常解像度の第２の固体撮像素子と、第３の光が入射されて緑色光の撮像信号を出力すると共に、その画素位置が第１及び第２の固体撮像素子の画素位置に対して相対的に垂直方向及び水平方向にそれぞれ所定画素ピッチずれるように配置された緑色光用で通常解像度の第３の固体撮像素子とを有し、第１乃至第３の固体撮像素子よりそれぞれ取り出される三原色信号に基づいて、各原色信号の低域信号成分である第１乃至第３の低域色信号を演算により生成する第１乃至第３の低域色信号生成回路と、第１及び第２の固体撮像素子よりそれぞれ取り出される青色信号と赤色信号を加算平均したＲＢ信号を生成する加算平均回路と、第３の固体撮像素子より取り出された緑色信号とＲＢ信号のうち、注目画素の周辺の複数の画素の緑色信号及びＲＢ信号の一方又は両方を用いて重み付け演算して注目画素の高域輝度信号を生成すると共に、注目画素の周辺の複数の画素の緑色信号及びＲＢ信号の両方を用いて重み付け演算して、垂直周波数成分が０で、水平高周波数成分のみを含む補助高域輝度信号を生成する第１の信号生成回路と、第１乃至第３の低域色信号生成回路より取り出された第１乃至第３の低域色信号と第１の信号生成回路より取り出された高域輝度信号及び補助高域輝度信号とを入力として受け、少なくとも第１乃至第３の低域色信号から所定のマトリクス演算により生成した低域輝度信号と高域輝度信号及び補助高域輝度信号とを加算して広帯域輝度信号を生成する第２の信号生成回路とを有する構成としたものである。
【００２６】
この発明では、補助高域輝度信号を低域輝度信号と高域輝度信号に加算するようにしているため、低域輝度信号と高域輝度信号を加算して得られる従来の輝度信号に比べて、補助高域輝度信号分だけ水平高周波数成分を増加させることができる。
【００２７】
また、上記の目的を達成するため、第２の発明は、上記の第１の発明と同様の上記の色分解光学系と、第１乃至第３の固体撮像素子と、第１乃至第３の低域色信号生成回路と、加算平均回路と、第１の信号生成回路とを有し、更に第１の発明とは異なり、第１及び第２の低域色信号生成回路から出力された同じ画素の第１及び第２の低域色信号のそれぞれに補助高域輝度信号を加算すると共に、第３の低域色信号生成回路から取り出された第３の低域色信号のうち、第１及び第２の低域色信号とは異なる画素の第３の低域色信号に補助高域輝度信号を加算する第１の加算手段と、第１乃至第３の低域色信号生成回路から出力された第１乃至第３の低域色信号のそれぞれに高域輝度信号を加算する第２の加算手段とを有し、第１及び第２の加算手段をそれぞれ通して第１乃至第３の広帯域色信号を出力する構成としたものである。
【００２８】
この発明では、第１乃至第３の低域色信号に補助高域輝度信号と高域輝度信号をそれぞれ加算するようにしているため、低域色信号に高域輝度信号を加算して得られる従来の第１乃至第３の広帯域色信号に比べて、補助高域輝度信号分だけ水平高周波数成分を増加させることができる。
【００２９】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる画像信号処理装置の一実施の形態の要部の構成図を示す。本実施の形態は、図１１の信号生成回路１８を図１の構成とした点に特徴があり、色分解光学系や撮像装置の構成は図１１と同じである。図１中、図１２と同一構成部分には同一符号を付し、その説明を省略する。
【００３０】
図１に示す信号生成回路は、図１１に示した信号生成回路に比べて、ＹＨ・ＹＨＳ生成回路３１が追加され、ＧＬ生成回路３０Ｇ、ＢＬ生成回路３０Ｂ及びＲＬ生成回路３０Ｒの生成演算が一部異なり、更に、補助高域輝度信号ＹＨＳにＧＬ信号、ＢＬ信号、ＲＬ信号を加算する加算回路３２Ｇ、３２Ｂ、３２Ｒを設けている点が異なる。
【００３１】
ここで、前述したように、本実施の形態では、色分解光学系や撮像装置の構成は図１１と同じであるので、３枚の固体撮像素子の間の画素位置関係は、図１３に示すようになっており、水平解像度の向上のためには、注目画素がＧ信号が存在しない画素位置（５，４）と（５，５）であるとき、低域緑色信号ＧＬに対して以下説明する所定の信号処理を行い、また、Ｒ信号及びＢ信号が存在しない画素位置（４，４）と（４，５）であるとき、低域赤色信号ＲＬ及び低域青色信号ＢＬに対して以下説明する所定の信号処理を行う。
【００３２】
なお、画素位置（４，５）にはＧ信号が存在しないが、上下の画素にＧ信号が存在するので、実質的にはＧ信号が存在するとみなせる。同様に、画素位置（５，４）にはＲ信号及びＢ信号が存在しないが、上下の画素にＲ信号及びＢ信号が存在するので、実質的にはＲ信号及びＢ信号が存在するとみなせる。
【００３３】
図１において、ＧＬ信号生成回路３０Ｇは、ＭＥＭ２２Ｇから読み出されたディジタルＧ信号から、以下のような演算処理を行って、低域緑色信号ＧＬを生成するが、GL(4,4)、GL(5,4)、GL(4,5)及びGL(5,5)のうち、GL(5,4)とGL(5,5)の演算式が従来のＧＬ信号生成回路２３Ｇと異なる。すなわち、Ｇ信号が存在しない画素位置（５，４）の低域緑色信号GL(5,4)は、図２に示すように、
0003666350.tif 000009
なる周辺の８画素を用いた補間演算により生成する。同様に、Ｇ信号が存在しない画素位置（５，５）の低域緑色信号GL(5,5)は、図３に示すように、
0003666350.tif 000010
なる周辺の８画素を用いた補間演算により生成する。
【００３４】
また、図１のＲＬ信号生成回路３０Ｒ、ＢＬ信号生成回路３０Ｂは、ＭＥＭ２２Ｒ、２２Ｂから読み出されたディジタルＲ信号、ディジタルＢ信号から、以下のような演算処理を行って、低域赤色信号ＲＬ、低域青色信号ＢＬをそれぞれ生成するが、RL(4,4)、RL(5,4)、RL(4,5)及びRL(5,5)とBL(4,4)、BL(5,4)、BL(4,5)及びBL(5,5)のうち、RL(4,4)、BL(4,4)と、RL(4,5)、BL(4,5)の演算式が従来のそれと異なる。
【００３５】
すなわち、Ｒ信号及びＢ信号の存在しない画素位置（４，４）の低域赤色信号RL(4,4)、低域青色信号BL(4,4)は、図４に示すように、
0003666350.tif 000011
なる周辺の８画素を用いた補間演算により生成する。また、Ｒ信号、Ｂ信号が存在しない画素位置（４，５）の低域赤色信号RL(4,5)、低域青色信号BL(4,5)は、図５に示すように、
0003666350.tif 000012
なる周辺の８画素を用いた補間演算により生成する。
【００３６】
また、図１のＹＨ・ＹＨＳ生成回路３１は、ＭＥＭ２２Ｇから読み出されたディジタルＧ信号とＲＢ生成処理部２４から出力されたＲＢ信号とから、前述した演算処理を行って、前記高域輝度信号ＹＨを生成すると共に、補助高域輝度信号ＹＨＳも次式の演算式に従って生成する。
【００３７】
ＹＨ・ＹＨＳ生成回路３１は、例えば、Ｇ信号が存在する画素位置（４，４）の補助高域輝度信号YHS(4,4)は、図６に示すように、
0003666350.tif 000013
なる１１画素を用いた補間演算により生成する。また、信号が存在しない画素位置（５，４）の補助高域輝度信号YHS(5,4)は、図７に示すように、
0003666350.tif 000014
なる周辺の１０画素を用いた補間演算により生成する。
【００３８】
同様に、信号が存在しない画素位置（４，５）の補助高域輝度信号YHＳ(4,5)は、図８に示すように、
0003666350.tif 000015
なる周辺の１０画素を用いた補間演算により生成する。また、ＲＢ信号が存在する画素位置（５，５）の補助高域輝度信号YHS(5,5)は、図９に示すように、
0003666350.tif 000016
なる１１画素を用いた補間演算により生成する。
【００３９】
ここで、上記の補助高域輝度信号ＹＨＳ（ｘ，ｙ）を一般式で表現すると、Ａ（ｘ，ｙ）を画素位置（ｘ，ｙ）でのＧ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、ＲＢ（ｘ，ｙ）の係数とし、ｍ，ｎをそれぞれ整数であるものとすると、
【数１】
0003666350.tif 000017
を満たす係数であることが必要である（必要だが、十分ではない）。すなわち、ＧとＲＢの水平方向係数の総和がそれぞれ０であることが必要である。この実施の形態のＹＨＳ（４，４）の場合は、
0003666350.tif 000018
その他画素位置のＡ（ｘ，ｙ）＝０である。
【００４０】
なお、補助高域輝度信号ＹＨＳの生成演算は、上記の実施の形態のタップ数、係数に限定されるものではなく、垂直周波数成分は０で、水平高周波成分のみを含む信号であれば、同様の効果が期待できる。
【００４１】
ＧＬ生成回路３０Ｇから本実施の形態特有の演算式により演算されて取り出された低域緑色信号ＧＬ（５，４）、ＧＬ（５，５）は、加算回路３２Ｇに供給され、ここでＹＨ・ＹＨＳ生成回路３１からの補助高域輝度信号ＹＨＳ（５，４）、ＹＨＳ（５，５）と加算された後、加算回路２６Ｇで高域輝度信号ＹＨ（５，４）、ＹＨ（５，５）と更に加算されて、広帯域緑色信号ＧＷ（５，４）、ＧＷ（５，５）とされて出力される。
【００４２】
また、ＧＬ生成回路３０Ｇから従来と同様の演算式により取り出された低域緑色信号ＧＬ（４，４）、ＧＬ（４，５）は、加算回路３２Ｇをスルーして加算回路２６ＧでＹＨ・ＹＨＳ生成回路３１からの高域輝度信号ＹＨ（４，４）、ＹＨ（４，５）と加算され、従来と同様の演算式により広帯域緑色信号ＧＷ（４，４）、ＧＷ（４，５）とされて出力される。従って、広帯域緑色信号ＧＷは次式で表される。
【００４３】
ＧＷ（４，４）＝ＧＬ（４，４）＋ＹＨ（４，４）
ＧＷ（５，４）＝ＧＬ（５，４）＋ＹＨ（５，４）＋ＹＨＳ（５，４）
ＧＷ（４，５）＝ＧＬ（４，５）＋ＹＨ（４，５）
ＧＷ（５，５）＝ＧＬ（５，５）＋ＹＨ（５，５）＋ＹＨＳ（５，５）
【００４４】
同様に、ＧＬ生成回路３０Ｂ、３０Ｒから本実施の形態特有の演算式により演算されて取り出された低域青色信号ＢＬ（４，４）、ＢＬ（４，５）と、低域赤色信号ＲＬ（４，４）、ＲＬ（４，５）は、加算回路３２Ｂ、３２Ｒに供給され、ここでＹＨ・ＹＨＳ生成回路３１からの補助高域輝度信号ＹＨＳ（４，４）、ＹＨＳ（４，５）とそれぞれ加算された後、加算回路２６Ｂ、２６Ｒで高域輝度信号ＹＨ（４，４）、ＹＨ（４，５）と更に加算されて、広帯域青色信号ＢＷ（４，４）、ＢＷ（４，５）、広帯域赤色信号ＲＷ（４，４）、ＲＷ（４，５）とされて出力される。
【００４５】
また、ＧＬ生成回路３０Ｂ、３０Ｒから従来と同様の演算式により取り出された低域青色信号ＢＬ（５，４）、ＢＬ（５，５）、低域赤色信号ＲＬ（５，４）、ＲＬ（５，５）は、加算回路３２Ｂ、３２Ｒをスルーして加算回路２６Ｂ、２６ＲでＹＨ・ＹＨＳ生成回路３１からの高域輝度信号ＹＨ（５，４）、ＹＨ（５，５）と加算され、従来と同様の演算式により広帯域青色信号ＢＷ（５，４）、ＢＷ（５，５）、広帯域赤色信号ＲＷ（５，４）、ＲＷ（５，５）とされて出力される。従って、広帯域青色信号ＢＷ、広帯域赤色信号ＲＷはそれぞれ次式で表される。
【００４６】
ＢＷ（４，４）＝ＢＬ（４，４）＋ＹＨ（４，４）＋ＹＨＳ（４，４）
ＢＷ（５，４）＝ＢＬ（５，４）＋ＹＨ（５，４）
ＢＷ（４，５）＝ＢＬ（４，５）＋ＹＨ（４，５）＋ＹＨＳ（４，５）
ＢＷ（５，５）＝ＢＬ（５，５）＋ＹＨ（５，５）
ＲＷ（４，４）＝ＲＬ（４，４）＋ＹＨ（４，４）＋ＹＨＳ（４，４）
ＲＷ（５，４）＝ＲＬ（５，４）＋ＹＨ（５，４）
ＲＷ（４，５）＝ＲＬ（４，５）＋ＹＨ（４，５）＋ＹＨＳ（４，５）
ＲＷ（５，５）＝ＲＬ（５，５）＋ＹＨ（５，５）
【００４７】
上記の補助高域輝度信号ＹＨＳは、垂直高周波数成分は０で、ｆH／２以上の水平高周波数成分のみを含む信号であり、高域輝度信号ＹＨと異なり、すべての低域信号ＧＬ、ＢＬ、ＲＬには加算しない。すなわち、上記のように、低域緑色信号ＧＬに加算するＹＨＳ成分YHS(5,4)、YHS(5,5)は、低域青色信号ＢＬと低域赤色信号ＲＬには加算しない。また、低域青色信号ＢＬと低域赤色信号ＲＬに加算するＹＨＳ成分YHS(4,4)、YHS(4,5)は、低域緑色信号ＧＬには加算しない。すべての低域信号ＧＬ、ＢＬ、ＲＬに補助高域輝度信号ＹＨＳを加算した場合には、一方の広帯域色信号の利得が帯域内で１.５以上となるからである。
【００４８】
一方、広帯域輝度信号及び色差信号生成回路３３は、低域緑色信号ＧＬ、低域青色信号ＢＬ、低域赤色信号ＲＬ、高域輝度信号ＹＨ及び補助高域輝度信号ＹＨＳを入力信号として受け、下記の演算式による演算を行って、広帯域輝度信号ＹＷ及び色差信号（ＢＬ−ＹＬ）、（ＲＬ−ＹＬ）を生成して出力する。
【００４９】
YL(x,y)＝0.7154GL(x,y)＋0.2125RL(x,y)＋0.0721BL(x,y)
ＹＷ（ｘ，ｙ）＝ＹＬ（ｘ，ｙ）＋ＹＨ（ｘ，ｙ）＋ＹＨＳ（ｘ，ｙ）
（ＢＬ−ＹＬ）（ｘ，ｙ）＝ＢＬ（ｘ，ｙ）−ＹＬ（ｘ，ｙ）
（ＲＬ−ＹＬ）（ｘ，ｙ）＝ＲＬ（ｘ，ｙ）−ＹＬ（ｘ，ｙ）
なお、上記の低域輝度信号ＹＬを生成するためのマトリクス演算の係数は、ハイビジョン方式信号の一例である。
【００５０】
図１０は本実施の形態での広帯域緑色信号ＧＷ（５，４）、ＧＷ（５，５）、広帯域青色信号ＢＷ（４，４）、ＢＷ（４，５）、広帯域赤色信号ＲＷ（４，４）、ＲＷ（４，５）の水平周波数特性を示す。同図において、縦軸は広帯域信号の利得であり、マイナス側は位相反転している成分を示し、横軸は周波数でｆHは水平方向のサンプリング周波数で、１／ＰＨに等しい。なお、垂直方向のサンプリング周波数ｆVは１／ＰＶに等しい。
【００５１】
図１０から分かるように、本実施の形態による広帯域緑色信号ＧＷ（５，４）、ＧＷ（５，５）、広帯域青色信号ＢＷ（４，４）、ＢＷ（４，５）、広帯域赤色信号ＲＷ（４，４）、ＲＷ（４，５）の水平周波数特性は、周波数０から周波数ｆH／２以上の周波数（５／８）ｆHまでゲイン１程度であり、ゲイン０となる周波数は（３／４）ｆH以上まで伸びている。これは、本実施の形態では、補助高域輝度信号ＹＨＳにより、ｆH／２以上の水平周波数の高域成分を補正している効果による。
【００５２】
また、広帯域輝度信号ＹＷについても、広帯域輝度信号及び色差信号生成回路３３において、前述した演算式から分かるように、上記の特性の広帯域緑色信号ＧＷ、広帯域青色信号ＢＷ、広帯域赤色信号ＲＷ、高域輝度信号ＹＨ、補助高域輝度信号ＹＨＳから生成されているので、同傾向の改善効果のある水平周波数特性を示す。なお、広帯域緑色信号ＧＷ（４，４）、ＧＷ（４，５）、広帯域青色信号ＢＷ（５，４）、ＢＷ（５，５）、広帯域赤色信号ＲＷ（５，４）、ＲＷ（５，５）の水平周波数特性については、従来と同じく全帯域でゲイン１である。
【００５３】
このように、本実施の形態の画像信号処理装置では、従来の水平周波数特性と比べて、周波数ｆH／２以下の周波数帯域でより平坦であり、かつ、周波数ｆH／２以上の高域周波数帯域では、より高周波数で減衰が始まるような特性であり、この結果、従来に比べて水平の解像度が向上する。
【００５４】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば図１の加算回路３２Ｇ〜３２Ｒと加算回路２６Ｇ〜２６Ｒの接続順序は図１とは逆でもよいことは勿論である。また、使用する固体撮像素子はＰＡＬ方式用固体撮像素子ではなく、ＮＴＳＣ方式等の他の標準テレビジョン方式の固体撮像素子も用いることもできる。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、補助高域輝度信号を低域輝度信号と高域輝度信号に加算することにより、低域輝度信号と高域輝度信号を加算して得られる従来の輝度信号に比べて、補助高域輝度信号分だけ水平高周波数成分を増加させるようにしたため、輝度信号の水平解像度を向上でき、また、第１乃至第３の低域色信号に補助高域輝度信号と高域輝度信号をそれぞれ加算することにより、補助高域輝度信号分だけ水平高周波数成分を増加させるようにしたため、色信号の水平解像度を向上できる。
【図面の簡単な説明】
【図１】本発明になる画像信号処理装置の一実施の形態の要部の構成図である。
【図２】図１の回路による低域緑色信号GL(5,4)の生成方法説明図である。
【図３】図１の回路による低域緑色信号GL(5,5)の生成方法説明図である。
【図４】図１の回路による低域赤色信号RL(4,4)及び低域青色信号BL(4,4)の生成方法説明図である。
【図５】図１の回路による低域赤色信号RL(4,5)及び低域青色信号BL(4,5)の生成方法説明図である。
【図６】図１の回路による補助高域輝度信号YHS(4,4)の生成方法説明図である。
【図７】図１の回路による補助高域輝度信号YHS(5,4)の生成方法説明図である。
【図８】図１の回路による補助高域輝度信号YHS(4,5)の生成方法説明図である。
【図９】図１の回路による補助高域輝度信号YHS(5,5)の生成方法説明図である。
【図１０】本発明の一実施の形態の水平周波数特性図である。
【図１１】本発明になる画像信号処理装置に適用される色分解光学系の一例の構成図である。
【図１２】従来の画像信号処理装置の一例の要部の構成図である。
【図１３】図１１の色分解光学系の一例の画素位置関係を示す図である。
【図１４】図１２の回路によって生成された広帯域緑色信号ＧＷの画面での画素位置を示す図である。
【図１５】図１２の回路による低域緑色信号GL(4,4)の生成方法説明図である。
【図１６】図１２の回路による低域緑色信号GL(5,4)の生成方法説明図である。
【図１７】図１２の回路による低域緑色信号GL(4,5)の生成方法説明図である。
【図１８】図１２の回路による低域緑色信号GL(5,5)の生成方法説明図である。
【図１９】図１２の回路による低域赤色信号RL(4,4)及び低域青色信号BL(4,4)の生成方法説明図である。
【図２０】図１２の回路による低域赤色信号RL(5,4)及び低域青色信号BL(5,4)の生成方法説明図である。
【図２１】図１２の回路による低域赤色信号RL(4,5)及び低域青色信号BL(4,5)の生成方法説明図である。
【図２２】図１２の回路による低域赤色信号RL(5,5)及び低域青色信号BL(5,5)の生成方法説明図である。
【図２３】図１２の回路による高域輝度信号YH(4,4)の生成方法説明図である。
【図２４】図１２の回路による高域輝度信号YH(5,4)の生成方法説明図である。
【図２５】図１２の回路による高域輝度信号YH(4,5)の生成方法説明図である。
【図２６】図１２の回路による高域輝度信号YH(5,5)の生成方法説明図である。
【図２７】従来回路による水平周波数特性の一例を示す図である。
【符号の説明】
１０、１１、１２  プリズム
１３  青補正フィルタ
１４  赤補正フィルタ
１５  緑補正フィルタ
１６Ｒ  Ｒ用の固体撮像素子
１６Ｂ  Ｂ用の固体撮像素子
１６Ｇ  Ｇ用の固体撮像素子
１８  信号生成回路
２１Ｂ、２１Ｒ、２１Ｇ  ＡＤ変換器（ＡＤＣ）
２２Ｂ、２２Ｒ、２２Ｇ  メモリ（ＭＥＭ）
２４  ＲＢ生成処理部
２６Ｂ、２６Ｒ、２６Ｇ、３２Ｂ、３２Ｒ、３２Ｇ  加算回路
３１  ＹＨ・ＹＨＳ生成回路
３３  広帯域輝度信号及び色差信号生成回路
【図１】
0003666350.tif 000019
【図２】
0003666350.tif 000020
【図３】
0003666350.tif 000021
【図４】
0003666350.tif 000022
【図５】
0003666350.tif 000023
【図６】
0003666350.tif 000024
【図７】
0003666350.tif 000025
【図８】
0003666350.tif 000026
【図９】
0003666350.tif 000027
【図１０】
0003666350.tif 000028
【図１１】
0003666350.tif 000029
【図１２】
0003666350.tif 000030
【図１３】
0003666350.tif 000031
【図１４】
0003666350.tif 000032
【図１５】
0003666350.tif 000033
【図１６】
0003666350.tif 000034
【図１７】
0003666350.tif 000035
【図１８】
0003666350.tif 000036
【図１９】
0003666350.tif 000037
【図２０】
0003666350.tif 000038
【図２１】
0003666350.tif 000039
【図２２】
0003666350.tif 000040
【図２３】
0003666350.tif 000041
【図２４】
0003666350.tif 000042
【図２５】
0003666350.tif 000043
【図２６】
0003666350.tif 000044
【図２７】
0003666350.tif 000045