(57)【特許請求の範囲】
【請求項１】
入射光を青色光からなる第１の光と、赤色光からなる第２の光と、緑色光からなる第３及び第４の光にそれぞれ色分解する色分解光学系と、
前記第１の光が入射されて青色光の撮像信号を出力する青色光用で標準テレビジョン方式の解像度の第１の固体撮像素子と、
前記第２の光が入射されて赤色光の撮像信号を出力する赤色光用で標準テレビジョン方式の解像度の第２の固体撮像素子と、  前記第３の光が入射されて緑色光の撮像信号を出力する緑色光用で標準テレビジョン方式の解像度の第３の固体撮像素子と、
前記第４の光が入射されて緑色光の撮像信号を出力する緑色光用で標準テレビジョン方式の解像度の第４の固体撮像素子とを有し、
前記第３の固体撮像素子の画素位置を、前記第４の固体撮像素子の画素位置に対して垂直方向に相対的に１画素ピッチずらし、かつ、水平方向に相対的に１／２画素ピッチずらして配置し、前記第１及び第２の固体撮像素子の画素位置を、前記第３及び第４の固体撮像素子の一方の画素位置に対してそれぞれ垂直方向に相対的に１／２画素ピッチずらして配置し、
前記第１、第２の固体撮像素子の出力撮像信号をフレーム合成する第１、第２の合成手段と、
前記第１、第２の合成手段の出力フレーム合成信号から垂直方向の第１及び第２の高域周波数信号を抽出する抽出手段と、
前記第１乃至第４の固体撮像素子よりそれぞれ取り出される撮像信号に基づいて、第１及び第２の色差信号と第１及び第２の輝度信号を生成すると共に、前記第１及び第２の輝度信号のそれぞれは、前記第１乃至第４の固体撮像素子よりそれぞれ取り出される撮像信号のすべてを用いてマトリクス演算して生成するマトリクス回路と、
前記マトリクス回路から出力された第１の輝度信号に、前記抽出手段からの第１の高域周波数信号を合成する第３の合成手段と、
前記マトリクス回路から出力された第２の輝度信号に、前記抽出手段からの第２の高域周波数信号を合成する第４の合成手段と、
前記マトリクス回路から出力された第１の輝度信号と前記第３の合成手段よりの合成信号とを１フィールド毎に交互に選択する第１の選択手段と、
前記マトリクス回路から出力された第２の輝度信号と前記第４の合成手段よりの合成信号とを１フィールド毎に交互に選択する第２の選択手段と
を有し、前記マトリクス回路は、ｎラインのｍ番目の注目画素における前記第１の輝度信号を奇数フィールドではＹ１m,n、偶数フィールドではｙ１m,nとし、前記第２の輝度信号を奇数フィールドではＹ２m,n、偶数フィールドではｙ２m,nとし、前記第１、第２、第３、第４の固体撮像素子のｎラインのｍ番目の各画素の出力撮像信号を奇数フィールドではＢm,n、Ｒm,n、Ｇ１m,n、Ｇ２m,nとし、偶数フィールドではｂm,n、ｒm,n、ｇ１m,n、ｇ２m,nとしたとき、次式
Ｙ１m,n＝0.701{(G1m,n)/2＋(G2m,n＋G2m+1,n)/4}
＋{0.212(Rm,n＋Rm+1,n)/2}＋0.087(Bm,n＋Bm+1,n)/2 
Ｙ２m,n＝0.701{(G2m,n)/2＋(G1m-1,n＋Gm,n)/4}
＋0.212Rm,n＋0.087Bm,n 
ｙ１m,n＝0.701{(g1m,n)/2＋(ｇ2m,n＋g2m+1,n)/4}
＋{0.212(rm,n＋rm+1,n)/2}＋0.087(bm,n＋bm+1,n)/2 
ｙ２m,n＝0.701{(g2m,n)/2＋(g1m-1,n＋g1m,n)/4}
＋0.212rm,n＋0.087bm,n 
により前記第１及び第２の輝度信号を生成すると共に、前記第１の固体撮像素子の出力撮像信号から前記第２の輝度信号を差し引いて前記第１の色差信号を生成し、前記第２の固体撮像素子の出力撮像信号から前記第２の輝度信号を差し引いて前記第２の色差信号を生成することを特徴とする画像信号処理装置。
【請求項２】
前記第３及び第４の固体撮像素子の各出力撮像信号を互いに１フィールド異なる撮像信号とする遅延手段と、前記遅延手段により得られた互いに１フィールド異なる２つの撮像信号のそれぞれについて別々に水平高域周波数成分と垂直高域周波数成分を除去する第１及び第２のフィルタ手段と、前記遅延手段により得られた互いに１フィールド異なる２つの撮像信号の一方の撮像信号について水平高域周波数成分と垂直低域周波数成分とを除去する第３のフィルタ手段と、前記第１及び第２のフィルタ手段から取り出された各信号の差分値を得る差分手段と、前記差分手段の出力差分値を第１の閾値と大小比較して第１の比較結果を得る第１の比較手段と、前記第３のフィルタ手段の出力信号を第２の閾値と大小比較して第２の比較結果を得る第２の比較手段と、前記第１及び第２の比較手段の出力信号を論理演算して前記撮像信号が動領域で、かつ、垂直低域領域であるときと、それ以外の領域のときとで異なる論理値の動領域判別信号を生成する論理回路と、前記第３の合成手段による前記第１の高域周波数信号の前記第１の輝度信号への合成動作を前記動領域判別信号に基づいて前記動領域で、かつ、垂直低域領域判別時に制限する第１の制限手段と、前記第４の合成手段による前記第２の高域周波数信号の前記第２の輝度信号への合成動作を前記動領域判別信号に基づいて前記動領域で、かつ、垂直低域領域判別時に制限する第２の制限手段とを有することを特徴とする請求項１記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置に係り、特にＮＴＳＣ方式やＰＡＬ方式等の標準テレビジョン方式画像信号用固体撮像素子を利用して、ハイビジョン方式などの高精細度の画像信号を得る画像信号処理装置に関する。
【０００２】
【従来の技術】
ＮＴＳＣ方式やＰＡＬ方式等の標準テレビジョン方式画像信号に比し、高精細度のハイビジョン方式画像信号を得る撮像装置として、専用の撮像装置は信号処理速度に高速度が要求され、また、高消費電力で周辺の使用デバイスも高度の精度が要求され、極めて高価である。このため、本出願人は、先に標準テレビジョン方式画像信号用固体撮像素子を利用して、ハイビジョン方式などの高精細度の画像信号を得る画像信号処理装置を提案した（例えば、特開平７−３２７２３３号公報、特開平９−７４５７１号公報など）。
【０００３】
例えば、特開平９−７４５７１号公報記載の本出願人の提案になる画像信号処理装置では、一例として図４に示す如き色分解光学系を有し、図５に示す如き固体撮像素子のハイビジョン画面での画素位置とされ、図６に示す如き信号処理回路を有する。
【０００４】
この撮像装置の色分解光学系は、図４に示すように、入射光から青色（Ｂ）光成分を取り出すためのＢプリズム１０と、Ｂプリズム１０からダイクロイック膜１０ａを透過した光から赤色（Ｒ）光成分を取り出すためのＲプリズム１２と、Ｒプリズム１２の透過光から緑色（Ｇ）光成分を取り出すためのＧプリズム１４と、Ｇプリズムに設けられたハーフミラー１６と、Ｂプリズム１０からダイクロイック膜１０ａ及びＢプリズム１０の入射面でそれぞれ反射されて取り出された青色光がＢトリミングフィルタ１３を通して入射される青色用固体撮像素子１９Ｂと、Ｒプリズム１２のダイクロイック膜１２ａ及びＲプリズム１２の入射面でそれぞれ反射されて取り出された赤色光がＲトリミングフィルタ１５を通して入射される赤色用固体撮像素子１９Ｒと、ハーフミラー１６で反射され、Ｇトリミングフィルタ１７を通して緑色光が入射される第１の緑色用固体撮像素子１９Ｇ１と、ハーフミラー１６及びＧトリミングフィルタ１８をそれぞれ透過した緑色光が入射される第２の緑色用固体撮像素子１９Ｇ２とより構成されている。
【０００５】
固体撮像素子１９Ｂ、１９Ｒ、１９Ｇ１及び１９Ｇ２は、それぞれ電荷結合素子（ＣＣＤ）により構成されており、ハイビジョン方式のアスペクト比１６：９に相当する、例えばＰＡＬ方式撮像素子のエリアに含まれる８０４×５１６画素からそれぞれ構成されている。
【０００６】
緑色用固体撮像素子１９Ｇ１及び１９Ｇ２は、垂直方向に１画素ピッチずらし、かつ、水平方向に１／２画素ピッチずらした配置とされると共に、一方の緑色用固体撮像素子に対して垂直方向に１／２ピッチずらして固体撮像素子１９Ｂ及び１９Ｒがそれぞれ配置されている。これにより、図５に示すようなハイビジョン画面での画素位置が得られる。同図中、大文字Ｇ、Ｂ、Ｒは奇数フィールド、小文字ｇ、ｂ、ｒは偶数フィールドでそれぞれ読み出される画素であり、また、「Ｇ」及び「ｇ」は緑信号（以下、Ｇ信号ともいう）、「Ｒ」及び「ｒ」は赤信号（以下、Ｒ信号ともいう）、「Ｂ」及び「ｂ」は青信号（以下、Ｂ信号ともいう）の画素であることをそれぞれ示している。更に、「ｒｂ」及び「ＲＢ」はＲ信号とＢ信号が同時に、かつ、別々にそれぞれの固体撮像素子１９Ｒ及び１９Ｂから読み出される画素である。
【０００７】
これら４枚の固体撮像素子１９Ｂ、１９Ｒ、１９Ｇ１及び１９Ｇ２は、同時駆動されるから、水平方向ｍ画素、垂直方向ｎラインの同じ画素が同時に読み出される。例えば、Ｇ１ｍ，ｎ、Ｇ２ｍ，ｎ、ＲＢｍ，ｎ（＝Ｒｍ，ｎ、Ｂｍ，ｎ）の４つは奇数フィールドで同時に読み出される。ここでＲ、ｒとＢ、ｂの画素の位置に着目すると、奇数及び偶数いずれのフィールドにおいても、これらの画素の対が配列されている。これは、Ｒ用固体撮像素子１９ＲとＢ用固体撮像素子１９Ｂとが同一ピッチで垂直方向にずらすことなく配置した構成であることによる。
【０００８】
次に、これら４枚の固体撮像素子１９Ｂ、１９Ｒ、１９Ｇ１及び１９Ｇ２から出力された撮像信号の処理装置について図６のブロック図と共に説明する。同図において、Ｂ用とＲ用の各固体撮像素子から取り出され、図示しないＡ／Ｄ変換器を通して得られたＢ画素データＤＢ及びＲ画素データＤＲは、フィールドメモリ２１、２２とフレーム合成回路２３、２４によりフレーム合成されて、対応する垂直高域フィルタ２５、２６へ入力される。垂直高域フィルタ２５、２６より取り出された垂直高域成分は、それぞれ加算器２７、２８に供給されて、次式により加算演算されて垂直高域周波数信号ＶＨ１、ＶＨ２が生成される。
【０００９】
【数１】
0003752911.tif 000002
一方、各１０ビットの入力ディジタル信号（画素データ）ＤＢ、ＤＲ、ＤＧ１及びＤＧ２はマトリクス回路２９に供給されて、以下の（３）式〜（６）式のマトリクス演算により８ビットの輝度信号Ｙ１、Ｙ２、ｙ１及びｙ２が生成される。
【００１０】
0003752911.tif 000003
また、マトリクス回路２９は次の（７）式〜（１０）式により色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）、（ｒ−ｙ）及び（ｂ−ｙ）を生成出力する。
【００１１】
（Ｒ−Ｙ）m+1,n＝Ｒm+1,n−Ｙm+1,n          （７）
（Ｂ−Ｙ）m,n＝Ｂm,n−Ｙm,n                （８）
（ｒ−ｙ）m+1,n＝ｒm+1,n−ｙm+1,n          （９）
（ｂ−ｙ）m,n＝bm,n−ｙm,n                （１０）
マトリクス回路２９より出力された輝度信号Ｙ１及びｙ１は加算器３０に供給されて、加算器２７よりの垂直高域周波数信号ＶＨ１と加算されることにより、次式で表される広帯域の高域付加信号Ｙ１＊とされる。
【００１２】
Ｙ１*ｍ，ｎ＝Ｙ１ｍ，ｎ＋ＶＨ１ｍ，n      （１１）
また、マトリクス回路２９より出力された輝度信号Ｙ２及びｙ２は加算器３１に供給されて、加算器２８よりの垂直高域周波数信号ＶＨ２と加算されることにより次式で表される広帯域の高域付加信号Ｙ２＊とされる。
【００１３】
Ｙ２*ｍ，ｎ＝Ｙ２ｍ，ｎ＋ＶＨ２ｍ，ｎ    （１２）
切換スイッチ３２はフィールドパルスに基づいて、奇数フィールドは高域付加信号Ｙ１*を選択し、偶数フィールドはマトリクス回路２９の８ビットの出力信号ｙ１をそのまま選択する。同様に、切換スイッチ３３はフィールドパルスに基づいて、奇数フィールドは高域付加信号Ｙ２*を選択し、偶数フィールドはマトリクス回路２９の出力信号ｙ２をそのまま選択する。
【００１４】
倍速変換回路３４はこれら切換スイッチ３２及び３の出力信号とマトリクス回路２９の出力色差信号とに基づいてハイビジョン方式の輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙをそれぞれ生成して出力する。この倍速変換回路３４は、ラインメモリとスイッチ回路により構成されている。
【００１５】
この本出願人の提案になる撮像装置によれば、マトリクス回路２９から取り出された８ビットの輝度信号Ｙ１（ｙ１）を、加算器２７の出力垂直高域周波数信号と加算器３０で加算し、また、マトリクス回路２９から取り出された８ビットの輝度信号Ｙ２（ｙ２）を、加算器２８の出力垂直高域周波数信号と加算器３１で加算とを加算しているため、マトリクスする前の１０ビットの信号同士を加算する装置よりも加算器３０、３１の構成を簡略化できる。
【００１６】
また、本出願人の提案になる画像信号処理装置では、フィールドメモリ２１、２２と垂直高域フィルタ２５、２６を用いて垂直高域周波数成分ＶＨ１、ＶＨ２を得ているため、動領域では正しい垂直高域成分が得られない可能性がある。この問題は動領域においてフィールド間の画像情報が異なってしまうことが原因なので、その動領域を判別し、その場合の最終出力輝度信号に垂直高域周波数成分が加算されないようにすれば解決できる。すなわち、上記の問題を解決するためには、動領域を判別する判別回路と、その動領域判別信号に基づいて垂直高域成分を加算した信号と加算しない信号の一方を選択する選択手段を画像信号処理装置内に設けることにより解決することができる。
【００１７】
そこで、上記の本出願人の提案になる画像信号処理装置では、動領域判別回路として、例えば、図７のブロック図に示す構成を提案している。同図において、第１の入力信号に対して高周波数成分を除去する第１の低域フィルタ（ＬＰＦ）４１を設けると共に、第２の入力信号をほぼ１フィールド遅延するフィールドメモリ４２の出力信号に対して高周波数成分を除去する第２の低域フィルタ（ＬＰＦ）４３を設け、これらＬＰＦ４１、４３の出力信号ＩＤ１”、ＩＤ２”を減算器４４で減算して差分をとる。なお、ＬＰＦ４１及び４３は遅延時間を有するから水平補間の効果も持つので、周波数特性と画像上での位置を揃えることが可能である。
【００１８】
減算器４４より取り出された差分値は、閾値回路４５で絶対値をとられた後所定の閾値と大小比較され、その比較結果は領域拡大回路４６に供給され、ここで、差分値が閾値よりも大であり動領域であると判定されたときは水平方向と垂直方向にそれぞれ領域を設定幅分拡大した信号とされ、この信号が動領域判別信号ＭＶＤとして出力端子４７へ出力される。
【００１９】
【発明が解決しようとする課題】
しかるに、上記の本出願人の提案になる画像信号処理装置では、マトリクス回路２９から出力される第１の輝度信号Ｙ１及びｙ１は、（３）式及び（５）式から分かるように、Ｒ信号及びＢ信号と共にマトリクス演算するＧ信号として、２枚のＧ用固体撮像素子のうちの一方のＧ用固体撮像素子１９Ｇ１の出力Ｇ信号Ｇ１、ｇ１のみを利用しており、同様に、マトリクス回路２９から出力される第２の輝度信号Ｙ２及びｙ２は、（４）式及び（６）式から分かるように、Ｒ信号及びＢ信号と共にマトリクス演算するＧ信号として、他方のＧ用固体撮像素子１９Ｇ２の出力Ｇ信号Ｇ２、ｇ２のみを利用しているため、Ｇ用固体撮像素子１９Ｇ１及び１９Ｇ２の特性差や、それらの出力Ｇ信号のアナログ信号処理部でのゲインやリニアリティの相違により、１ラインおきのハイビジョン方式画像信号に直流差（ＤＣ差）が生じ、画像品質が劣化する可能性がある。
【００２０】
また、上記の本出願人の提案になる画像信号処理装置では、動領域を判別する図７に示すような動領域判別回路を設け、その動領域判別信号に基づいて、垂直高域成分を加算した信号と加算しない信号の一方を選択する選択手段を画像信号処理装置内に設けることにより、動領域では正しい垂直高域周波数成分が得られない問題を解決するようにしているが、静止領域に僅かな垂直方向の高域周波数成分が含まれている場合も動領域判別信号を誤って出力してしまい、静止画の誤検出による画像品質が劣化する可能性がある。
【００２１】
つまり、図４の固体撮像素子１９Ｇ１と１９Ｇ２は、例えば図５のＧ１（ｍ，ｎ）、Ｇ２（ｍ，ｎ）又はｇ１（ｍ，ｎ）、ｇ２（ｍ，ｎ）に示されるように、垂直、水平方向に１／２画素ずれた位置に配置されるはずであるが、実際には貼り合わせの精度により、固体撮像素子１９Ｇ１及び１９Ｇ２の配置は正確に１／２画素ずれた位置とは異なる。この貼り合わせ位置の誤差により、静止画時であっても、図７の減算器４４の出力や後述する図２の減算器５９の出力は垂直高域領域で動画領域であると誤検出する可能性がある。
【００２２】
本発明は以上の点に鑑みなされたもので、より画像品質を向上し得る画像信号処理装置を提供することを目的とする。
【００２３】
また、本発明の他の目的は、２枚のＧ用固体撮像素子の特性差や、それらの出力Ｇ信号のアナログ信号処理部でのゲインやリニアリティの相違による画質への悪影響を低減し得る画像信号処理装置を提供することにある。
【００２４】
更に、本発明の他の目的は、静止画の誤検出による画質への悪影響を防止し得る画像信号処理装置を提供することにある。
【００２５】
【課題を解決するための手段】
上記の目的を達成するため、本発明は入射光を青色光からなる第１の光と、赤色光からなる第２の光と、緑色光からなる第３及び第４の光にそれぞれ色分解する色分解光学系と、第１の光が入射されて青色光の撮像信号を出力する青色光用で標準テレビジョン方式の解像度の第１の固体撮像素子と、第２の光が入射されて赤色光の撮像信号を出力する赤色光用で標準テレビジョン方式の解像度の第２の固体撮像素子と、第３の光が入射されて緑色光の撮像信号を出力する緑色光用で標準テレビジョン方式の解像度の第３の固体撮像素子と、第４の光が入射されて緑色光の撮像信号を出力する緑色光用で標準テレビジョン方式の解像度の第４の固体撮像素子とを有し、第３の固体撮像素子の画素位置を、第４の固体撮像素子の画素位置に対して垂直方向に相対的に１画素ピッチずらし、かつ、水平方向に相対的に１／２画素ピッチずらして配置し、第１及び第２の固体撮像素子の画素位置を、第３及び第４の固体撮像素子の一方の画素位置に対してそれぞれ垂直方向に相対的に１／２画素ピッチずらして配置し、第１、第２の固体撮像素子の出力撮像信号をフレーム合成する第１、第２の合成手段と、第１、第２の合成手段の出力フレーム合成信号から垂直方向の第１及び第２の高域周波数信号を抽出する抽出手段と、第１乃至第４の固体撮像素子よりそれぞれ取り出される撮像信号に基づいて、第１及び第２の色差信号と第１及び第２の輝度信号を生成すると共に、第１及び第２の輝度信号のそれぞれは、第１乃至第４の固体撮像素子よりそれぞれ取り出される撮像信号のすべてを用いてマトリクス演算して生成するマトリクス回路と、マトリクス回路から出力された第１の輝度信号に、抽出手段からの第１の高域周波数信号を合成する第３の合成手段と、マトリクス回路から出力された第２の輝度信号に、抽出手段からの第２の高域周波数信号を合成する第４の合成手段と、マトリクス回路から出力された第１の輝度信号と第３の合成手段よりの合成信号とを１フィールド毎に交互に選択する第１の選択手段と、マトリクス回路から出力された第２の輝度信号と第４の合成手段よりの合成信号とを１フィールド毎に交互に選択する第２の選択手段とを有し、マトリクス回路は、ｎラインのｍ番目の注目画素における第１の輝度信号を奇数フィールドではＹ１m,n、偶数フィールドではｙ１m,nとし、第２の輝度信号を奇数フィールドではＹ２m,n、偶数フィールドではｙ２m,nとし、第１、第２、第３、第４の固体撮像素子のｎラインのｍ番目の各画素の出力撮像信号を奇数フィールドではＢm,n、Ｒm,n、Ｇ１m,n、Ｇ２m,nとし、偶数フィールドではｂm,n、ｒm,n、ｇ１m,n、ｇ２m,nとしたとき、後述の（１３）式〜（１６）式により第１及び第２の輝度信号を生成すると共に、第１の固体撮像素子の出力撮像信号から第２の輝度信号を差し引いて第１の色差信号を生成し、第２の固体撮像素子の出力撮像信号から第２の輝度信号を差し引いて第２の色差信号を生成する構成としたものである。
【００２６】
本発明では、マトリクス回路により生成される第１及び第２の輝度信号のそれぞれが、第１乃至第４の固体撮像素子よりそれぞれ取り出される撮像信号のすべてを用いたマトリクス演算により生成されるため、第３及び第４の固体撮像素子の特性差や、それらの出力撮像信号のアナログ信号処理部でのゲインやリニアリティの相違が存在しても、それらに起因する１ラインおきのハイビジョン方式画像信号の直流差を平均化することができる。
【００２７】
また、上記の目的を達成するため、本発明は、第３及び第４の固体撮像素子の各出力撮像信号を互いに１フィールド異なる撮像信号とする遅延手段と、遅延手段により得られた互いに１フィールド異なる２つの撮像信号のそれぞれについて別々に水平高域周波数成分と垂直高域周波数成分を除去する第１及び第２のフィルタ手段と、遅延手段により得られた互いに１フィールド異なる２つの撮像信号の一方の撮像信号について水平高域周波数成分と垂直低域周波数成分とを除去する第３のフィルタ手段と、第１及び第２のフィルタ手段から取り出された各信号の差分値を得る差分手段と、差分手段の出力差分値を第１の閾値と大小比較して第１の比較結果を得る第１の比較手段と、第３のフィルタ手段の出力信号を第２の閾値と大小比較して第２の比較結果を得る第２の比較手段と、第１及び第２の比較手段の出力信号を論理演算して撮像信号が動領域で、かつ、垂直低域領域であるときと、それ以外の領域のときとで異なる論理値の動領域判別信号を生成する論理回路と、第３の合成手段による第１の高域周波数信号の第１の輝度信号への合成動作を動領域判別信号に基づいて動領域で、かつ、垂直低域領域判別時に制限する第１の制限手段と、第４の合成手段による第２の高域周波数信号の第２の輝度信号への合成動作を動領域判別信号に基づいて動領域で、かつ、垂直低域領域判別時に制限する第２の制限手段とを有することを特徴とする。
【００２８】
この発明では、差分手段から２次元低域フィルタの差分値が取り出され、第１の比較手段により撮像信号が動領域か静止領域かを示す第１の比較結果を得ることができると共に、第２の比較手段からは撮像信号が垂直高域領域の信号か垂直低域領域かの信号を示す第２の比較結果を得ることができ、これら両比較結果に基づく動領域判別信号を得ることができる。
【００２９】
【発明の実施の形態】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる画像信号処理装置の要部の一実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態は、図４に示す如き色分解光学系を有し、図５に示す如き固体撮像素子のハイビジョン画面での画素位置とされている点は前記本出願人の提案になる画像信号処理装置と同様であるが、画像信号処理回路を図１に示す如き構成としたものである。ここで、この実施の形態の画像信号処理回路は、図６に示した画像信号処理回路とほぼ同様の回路構成であるが、マトリクス回路５１の構成に特徴がある。
【００３０】
すなわち、マトリクス回路５１は、図４に示す色分解光学系から出力され、かつ、Ａ／Ｄ変換して得られた各１０ビットの入力ディジタル信号（画素データ）ＤＢ、ＤＲ、ＤＧ１及びＤＧ２を入力信号として受け、以下の（１３）式〜（１６）式のマトリクス演算により８ビットの輝度信号Ｙ１、Ｙ２、ｙ１及びｙ２を生成し、また、（１７）式〜（２０）式により８ビットの色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）、（ｒ−ｙ）及び（ｂ−ｙ）を生成する。ここで、前述したように、大文字は奇数フィールドの信号、小文字は偶数フィールドの信号である。
【００３１】
Ｙ１m,n＝0.701{(G1m,n)/2+(G2m,n+G2m+1,n)/4}
+{0.212(Rm,n+Rm+1,n)/2}+0.087(Bm,n+Bm+1,n)/2  （１３）
Ｙ２m,n＝0.701{(G2m,n)/2+(G1m-1,n+Gm,n)/4}
+0.212Rm,n+0.087Bm,n                          （１４）
ｙ１m,n＝0.701{(g1m,n)/2+(ｇ2m,n+g2m+1,n)/4}
+{0.212(rm,n+rm+1,n)/2}+0.087(bm,n+bm+1,n)/2  （１５）
ｙ２m,n＝0.701{(g2m,n)/2+(g1m-1,n+g1m,n)/4}
+0.212rm,n+0.087bm,n                          （１６）
（Ｒ−Ｙ）ｍ，ｎ＝Ｒｍ，ｎ−Ｙ２ｍ，ｎ      （１７）
（Ｂ−Ｙ）ｍ，ｎ＝Ｂｍ，ｎ−Ｙ２ｍ，ｎ      （１８）
（ｒ−ｙ）ｍ，ｎ＝ｒｍ，ｎ−ｙ２ｍ，ｎ      （１９）
（ｂ−ｙ）ｍ，ｎ＝ｂｍ，ｎ−ｙ２ｍ，ｎ      （２０）
（１３）式に示すように、奇数フィールドのｎラインのｍ画素における第１の輝度信号Ｙ１ｍ，ｎは、Ｒ信号及びＢ信号と共にマトリクス演算にて使用するＧ信号として、注目画素（ｍ，ｎ）のＧ用固体撮像素子１９Ｇ１の画素値Ｇ１m,nを１／２倍した値に、注目画素(ｍ,ｎ)のＧ用固体撮像素子１９Ｇ２の画素値Ｇ２m,nと隣接画素の値Ｇ2m+1,nの和の値を１／４倍した値を加算して所定係数と乗算した信号を用いている。
【００３２】
すなわち、同時刻に駆動されるＧ用固体撮像素子１９Ｇ１及び１９Ｇ２の注目画素（ｍ，ｎ）の画素値Ｇ１m,nとＧ２m,nと、これらの一方の画素に水平方向に隣接する１つの画素の値Ｇ２m+1,n又はＧ１m-1,nを用いてマトリクス演算されてＹ１m,n、Ｙ２m,nが生成されている。他の輝度信号Ｙ２m,n、ｙ１m,n、ｙ２m,nも同様である。
【００３３】
このように、この実施の形態では、マトリクス回路５１からマトリクス演算されて取り出される第１の輝度信号Ｙ１及びｙ１と第２の輝度信号Ｙ２及びｙ２は、（１３）式〜（１６）式から分かるように、Ｒ信号及びＢ信号と共にマトリクス演算するＧ信号として、２枚のＧ用固体撮像素子１９Ｇ１及び１９Ｇ２の両方の出力画像データＧ１（ｇ１）とＧ２（ｇ２）を用いている。このため、Ｇ用固体撮像素子１９Ｇ１及び１９Ｇ２の特性差や、それらの出力Ｇ信号のアナログ信号処理部でのゲインやリニアリティの相違が存在しても、それらに起因する１ラインおきのハイビジョン方式画像信号の直流差が平均化されるため、前記の本出願人の提案になる画像信号処理装置に比べて画像品質を向上することができる。
【００３４】
次に、本発明の他の要部の実施の形態について説明する。図２は本発明になる画像信号処理装置の他の要部の一実施の形態の回路系統図を示す。図１の実施の形態では、前記本出願人の提案になる画像信号処理装置と同様に、フィールドメモリ２１、２２と垂直高域フィルタ２５、２６を用いて垂直高域周波数成分ＶＨ１、ＶＨ２を得ているため、前記したように、動領域では正しい垂直高域成分が得られない可能性がある。この問題を解決するためには、動領域を判別する動領域判別回路と、その動領域判別信号に基づいて垂直高域成分を加算した信号と加算しない信号の一方を選択する選択手段を画像信号処理装置内に設けることにより解決することができる。
【００３５】
図２は本発明における上記の動領域判別回路の一実施の形態の回路系統図を示しており、Ｇ用固体撮像素子１９Ｇ１及び１９Ｇ２の各出力緑信号をＡ／Ｄ変換して得られたＧ画素データＤＧ１及びＤＧ２のうち、一方のＧ画素データが第１の入力信号として水平低域フィルタ（ＬＰＦ）５３に供給されて水平低域周波数成分が濾波された後、垂直ＬＰＦ５４及び垂直高域フィルタ（ＨＰＦ）５５にそれぞれ供給されて、垂直低域周波数成分と垂直高域周波数成分とがそれぞれ濾波される。
【００３６】
また、Ｇ画素データＤＧ１及びＤＧ２のうち、他方のＧ画素データがフィールドメモリ５６に供給されてほぼ１フィールド遅延された後、水平ＬＰＦ５７及び垂直ＬＰＦ５８をそれぞれ通して水平方向と垂直方向の各高周波数成分が除去される。減算器５９は垂直ＬＰＦ５４からの水平方向と垂直方向の各高周波数成分が除去された一方のＧ画素データと、垂直ＬＰＦ５８からの水平方向と垂直方向の各高周波数成分が除去され、かつ、ほぼ１フィールド遅延された他方のＧ画素データとの差分値を算出する。
【００３７】
減算器５９から取り出された差分値は、閾値回路６０で絶対値をとられた後所定の閾値と大小比較され、差分値が閾値よりも大であるときは動領域であると判定されて論理”１”とされ、その判定結果は領域拡大回路６１に供給され、ここで、動領域のときには水平方向と垂直方向にそれぞれ領域を設定幅分拡大した、論理”１”の信号とされる。また、上記の差分値の絶対値が上記の閾値以下のときには静止領域であると判定されて論理”０”の信号が領域拡大回路６１から出力される。
【００３８】
ただし、領域拡大回路６１の出力信号（これをａとする）は、垂直ＬＰＦ５４及び５８をそれぞれ通した信号の差分値と閾値との大小比較結果に基づくものであるので、入力信号ＤＧ１、ＤＧ２の垂直低域領域が動領域か静止領域かを示している。
【００３９】
一方、垂直ＨＰＦ５５から取り出された信号は、垂直高域領域の信号であり、閾値回路６２で絶対値をとられた後所定の閾値と大小比較され、閾値よりも大であるときは垂直高域領域の信号であると判定されて論理”１”とされ、閾値以下のときは垂直低域領域の信号であると判定されて論理”０”の信号とされ、その判定結果はインバータ６３で反転された後、領域拡大回路６４に供給され、ここで、垂直高域領域のときには水平方向と垂直方向にそれぞれ領域を設定幅分拡大した論理”０”の信号とされる。
【００４０】
ここで、領域拡大回路６４の出力信号（これをｂとする）は、垂直ＨＰＦ５５を通過した信号と閾値との大小比較結果に基づくものであるので、入力信号ＤＧ１又はＤＧ２の垂直高域領域の信号であるか垂直低域領域の信号であるかを示している。従って、垂直高域周波数成分が多い信号の場合は、領域拡大回路６４の出力信号ｂの論理は”０”となる。
【００４１】
上記の領域拡大回路６１の出力信号ａと領域拡大回路６４の出力信号ｂとはそれぞれ２入力ＡＮＤ回路６５に供給され、ここで論理積をとられて得られた信号ｃが動領域判別信号ＭＶＤとして出力端子６６へ出力される。以上の出力信号ａ、ｂ及びｃの関係をまとめると次表に示す如くになる。
【００４２】
【表１】
0003752911.tif 000004
従って、静止領域であっても垂直高域周波数成分が多い信号の場合は、この実施の形態では、出力信号ｂが論理”０”となるので、ＡＮＤ回路６５の出力信号ｃ（動領域判別信号ＭＶＤ）は論理”０”となり、従来の誤検出を防止できる。なお、水平ＬＰＦ５３及び５７は遅延時間を有するから水平補間の効果も持つので、周波数特性と画像上での位置を揃えることが可能である。
【００４３】
この動領域判別回路の出力動領域判別信号ｃ（ＭＶＤ）に基づいて垂直高域成分を加算した信号と加算しない信号の一方を選択する輝度信号処理回路は、前記本出願人の提案になる画像信号処理装置に用いたものと同じ、例えば図３のブロック図に示す輝度信号処理回路を用い得る。
【００４４】
同図において、入力端子７０、７１は輝度信号あるいは撮像信号入力端子で、図１の実施の形態に適用する場合は、マトリクス回路２９の出力輝度信号Ｙ１（ｙ１）、Ｙ２（ｙ２）である。また、図３の入力端子７２、７３は垂直高域周波数信号ＶＨ１、ＶＨ２入力端子で、図１の加算器２７、２８の出力垂直高域周波数信号ＶＨ１、ＶＨ２が入力される。また、図３の入力端子７４はフィールドパルス入力端子、入力端子７５は図２に示した動領域判別回路より出力される動領域判別信号ＭＶＤが入力される。更に、図３の加算器７６、７７は、図１の加算器３０、３１に相当し、図３の切換スイッチ８０、８１は図１の切換スイッチ３２、３３に相当する。このように、この図３の実施の形態は図１の実施の形態に切換スイッチ７８、７９を設けたものである。
【００４５】
この実施の形態では、入力端子７５に入力される動領域判別信号ＭＶＤが切換スイッチ７８及び７９にスイッチング信号として印加され、通常は切換スイッチ７８及び７９をそれぞれ端子ａ側に接続して入力端子７２、７３を介して入力される垂直高域周波数信号ＶＨ１、ＶＨ２を選択させて加算器７６、７７へ供給させるが、動領域判別信号ＭＶＤが動領域で、かつ、垂直低域領域を示す論理値”１”であるときには、切換スイッチ７８及び７９をそれぞれ端子ｂ側に切換接続し、入力端子７２、７３を介して入力される垂直高域周波数信号ＶＨ１、ＶＨ２の加算器７６、７７への供給を強制的に遮断する。
【００４６】
これにより、出力端子８２、８３から図１の倍速変換回路３４へ出力される最終出力輝度信号に、動領域では垂直高域周波数信号ＶＨ１及びＶＨ２を加算しないようにでき、画質劣化を防止することができる。また、この実施の形態では、表１に示したように、動領域であっても、垂直高域周波数が多い場合には、動領域判別信号ＭＶＤ（ｃ）が論理値”０”であるので、この場合は、切換スイッチ７８及び７９により垂直高域周波数信号ＶＨ１、ＶＨ２を選択させて加算器７６、７７へ供給させる。
【００４７】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば図１のマトリクス回路５１のマトリクス演算において、水平方向に更に高次の画素成分を用いた演算を用いてもよい（例えば、Ｙm,nをＧ１m,n、Ｇ２m,n、Ｇ２m+1,nだけでなく、Ｇ１m-1,n、Ｇ１m+1,nを用いて生成する場合など）。また、使用する固体撮像素子はＰＡＬ方式用固体撮像素子ではなく、ＮＴＳＣ方式等の他の標準テレビジョン方式の固体撮像素子も用いることもできる。
【００４８】
また、本発明は、図５の画素配置の撮像装置だけでなく、例えば、前記した本出願人が先に提案した撮像装置のように、垂直方向に１画素ピッチずらし、かつ、水平方向に１／２画素ピッチずらしたＧ用の固体撮像素子を２枚用意すると共に、一方のＧ用の固体撮像素子に対して垂直方向に１／２画素ピッチずらし、かつ、互いに垂直方向に１画素ピッチずらしたＢ、Ｒ用の固体撮像素子を配置した、計４枚の固体撮像素子を用いた色分解光学系を有する撮像装置にも適用可能である。この場合は、奇数フィールド及び偶数フィールドのうちの一方のフィールドのＲ信号の画素位置と他方のフィールドのＢ信号の画素位置とが重ね合わされる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、マトリクス回路により生成される第１及び第２の輝度信号のそれぞれを、第１乃至第４の固体撮像素子よりそれぞれ取り出される撮像信号のすべてを用いたマトリクス演算により生成することにより、第３及び第４の固体撮像素子の特性差や、それらの出力撮像信号のアナログ信号処理部でのゲインやリニアリティの相違が存在しても、それらに起因する１ラインおきのハイビジョン方式画像信号の直流差を平均化するようにしたため、１ラインおきのハイビジョン方式画像信号の直流差が生じていた従来装置に比べて画像品質を向上できる。
【００５０】
また、本発明によれば、撮像信号が動領域か静止領域かを示す第１の比較結果と、撮像信号が垂直高域領域の信号か垂直低域領域かの信号を示す第２の比較結果に基づく動領域判別信号を得るようにしたため、静止領域において僅かな垂直高域周波数成分の存在により動領域と誤判別することがなく、また動領域を判別することができ、よって静止領域における誤判別防止と、動領域判別信号により動領域と判別したときに垂直高域成分を最終出力輝度信号に加算しないようにすることによる画質劣化防止とを両立することができる。
【図面の簡単な説明】
【図１】本発明の要部の一実施の形態のブロック図である。
【図２】本発明の他の要部の一実施の形態の回路系統図である。
【図３】本出願人の提案になる画像信号処理装置に用いた輝度信号処理回路の一例のブロック図である。
【図４】本発明の一実施の形態に適用される本出願人が先に提案した色分解光学系の一例を示す図である。
【図５】本発明の一実施の形態に適用される本出願人が先に提案した画像信号処理装置の固体撮像素子のハイビジョン画面での画素位置の一例を示す図である。
【図６】本出願人が先に提案した画像信号処理装置の要部の一例のブロック図である。
【図７】本出願人が先に提案した画像信号処理装置の他の要部の一例のブロック図である。
【符号の説明】
１９Ｂ  青色光用固体撮像素子（第１の固定撮像素子）
１９Ｒ  赤色光用固体撮像素子（第２の固定撮像素子）
１９Ｇ１、１９Ｇ２  緑色光用固体撮像素子（第３、第４の固定撮像素子）
２１、２２  フィールドメモリ
２３  フレーム合成回路（第１の合成手段）
２４  フレーム合成回路（第２の合成手段）
２５、２６  垂直高域フィルタ（抽出手段）
２７、２８  加算器
３０  加算器（第１の合成手段）
３１  加算器（第２の合成手段）
３２  切換スイッチ（第１の選択手段）
３３  切換スイッチ（第２の選択手段）
３４  倍速変換回路
５１  マトリクス回路
５３  水平低域フィルタ（ＬＰＦ）（第１、第３のフィルタ手段）
５４、５８  垂直低域フィルタ（ＬＰＦ）（第１、第２のフィルタ手段）
５５  垂直高域フィルタ（ＨＰＦ）（第３のフィルタ手段）
５６  フィールドメモリ（遅延手段）
５７  水平低域フィルタ（ＬＰＦ）（第２のフィルタ手段）
５９  減算器（差分手段）
６０、６２  閾値回路（第１、第２の比較手段）
６１、６４  領域拡大回路
６３  インバータ（第２の比較手段）
６５  ＡＮＤ回路（論理回路）
６６  動領域判別信号出力端子
【図１】
0003752911.tif 000005
【図２】
0003752911.tif 000006
【図３】
0003752911.tif 000007
【図４】
0003752911.tif 000008
【図５】
0003752911.tif 000009
【図６】
0003752911.tif 000010
【図７】
0003752911.tif 000011