(57)【特許請求の範囲】
【請求項１】
画像信号の高周波成分を補償するアパーチャコントロール処理を行う画像信号処理装置において、
画像信号をライン遅延し当該画像信号の複数ライン分を同時化して得られた時間軸上の信号を周波数軸上の信号に周波数変換する周波数変換手段と、
上記周波数変換された上記複数ライン分の変換係数を周波数軸上で高周波成分を持ち上げることにより上記アパーチャコントロール処理のためのアパーチャコントロール信号の周波数を制御する補償手段とを有する
画像信号処理装置。
【請求項２】
上記周波数変換手段は、離散コサイン変換により上記周波数変換を行う
請求項１記載の画像信号処理装置。
【請求項３】
上記周波数変換手段は、ウエーブレット変換により上記周波数変換を行う
請求項１記載の画像信号処理装置。
【請求項４】
上記周波数変換手段を複数個並列に備え、
上記補償手段では、上記複数個の周波数変換手段による周波数変換後に周波数軸上で高周波成分を持ち上げ、
並列処理された上記複数ライン分の変換係数の高周波成分から、一つの高域補償信号を生成する
請求項１記載の画像信号処理装置。
【請求項５】
上記画像信号の４ライン分を同時化して上記周波数変換手段に供給する
請求項１記載の画像信号処理装置。
【請求項６】
上記周波数変換手段は、正規化したマトリクス係数を用いたマトリクス演算により画像信号を周波数変換する
請求項１記載の画像信号処理装置。
【請求項７】
上記周波数変換手段は、上記複数ライン分の同時化された画像信号が供給される第１の周波数変換器と、上記複数ライン分の同時化された画像信号が２サンプル遅延された画像信号が供給される第２の周波数変換器とにより、２系統分の高周波成分補償画像信号を同時に得、
並列処理された上記２系統分の変換係数の高周波成分から、一つの高域補償信号を生成する
請求項６記載の画像信号処理装置。
【請求項８】
上記周波数変換後の信号を、カメラシステムのオートフォーカス検波用データとする
請求項６記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばＣＣＤカメラ信号等の高周波成分を補償する信号処理（アパーチャコントロール処理）を行い、コーティングが施されたＣＣＤ等の撮像デバイスからの読み出し信号に対して画像信号処理を行う画像信号処理装置に関する。
【０００２】
【従来の技術】
従来より、例えばＣＣＤ（固体撮像素子）等のイメージセンサからの画像信号の高周波成分を補償する信号処理（以下、アパーチャコントロール処理と呼ぶ）では、当該画像信号に時間軸方向のフィルタリング処理を施すことが行われている。
【０００３】
図１３には、例えばＣＣＤイメージセンサを備えたカメラ（ＣＣＤカメラ）からの画像信号に対してアパーチャコントロール処理を行う、第１の従来例のＣＣＤカメラ信号処理システムの構成例を示す。
【０００４】
この図１３において、入力端子４０１には、ＣＣＤイメージセンサからの空間的に離散的に存在するＲ（赤），Ｇ（緑），Ｂ（青）の３原色画像信号、或いはイエロー（Ｙｅ），マゼンタ（Ｍｇ），シアン（Ｃｙ），グリーン（Ｇ）の補色画像信号が供給される。この画像信号は、１／４Ｖフィルタ４０４と１ラインディレイ回路４０２に送られ、また、当該１ラインディレイ回路４０２の出力は１ラインディレイ回路４０３に送られる。
【０００５】
１ラインディレイ回路４０２及び４０３は、入力された画像信号をそれぞれ１ライン分遅延し、各々の遅延出力を１／４Ｖフィルタ４０４に送る。これにより、１／４Ｖフィルタ４０４には、３ライン同時化された画像信号が供給されることになる。
【０００６】
また、１ラインディレイ回路４０２にて１ライン分遅延された画像信号は、１／４Ｈフィルタ４０５、１／２Ｈフィルタ４０６、及び水平方向ローパスフィルタ４０７にも送られる。
【０００７】
１／４Ｖフィルタ４０４は、３ライン同時化された画像信号から、サンプリング周波数の垂直方向１／４の高域成分を抜き出し、その周波数成分を乗算器４０８に送る。１／４Ｈフィルタ４０５は、１ラインディレイ回路４０２にて１ライン分遅延された画像信号から、サンプリング周波数の水平方向１／４の高域成分を抜き出し、その周波数成分を乗算器４０９に送る。１／２Ｈフィルタ４０６は、１ラインディレイ回路４０２にて１ライン分遅延された画像信号から、サンプリング周波数の水平方向１／２の高域成分を抜き出し、その周波数成分を乗算器４１０に送る。
【０００８】
乗算器４０８は、１／４Ｖフィルタ４０４からの垂直方向１／４の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器４１１に送る。乗算器４０９は、１／４Ｈフィルタ４０５からの水平方向１／４の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器４１１に送る。乗算器４１０は、１／２Ｈフィルタ４０６からの水平方向１／２の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器４１１に送る。
【０００９】
加算器４１１では、乗算器４０８〜４１０の各出力信号を加算し、アパーチャコントロール信号として出力する。この加算器４１１からのアパーチャコントロール信号は加算器４１２に送られる。
【００１０】
また、水平方向ローパスフィルタ４０７は、１ラインディレイ回路４０２にて１ライン分遅延された画像信号の低域成分を抜き出すことで輝度信号を取り出し、この輝度信号を加算器４１２に送る。
【００１１】
加算器４１２では、上記アパーチャコントロール信号と輝度信号を加算し、これにより、当該加算器４１２からは、高周波成分を補償（アパーチャコントロール処理）した輝度信号が出力される。この加算器４１２から出力された輝度信号は、ガンマ（γ）補正回路４１３に送られる。
【００１２】
ガンマ補正回路４１３では、アパーチャコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子４１４から出力される。
【００１３】
上述したように、第１の従来例の信号処理システムでは、３ライン同時化された画像信号に対してフィルタを通して高域成分（サンプリング周波数の垂直１／４）を抜き出すと共に、１ライン分遅延された画像信号に対してフィルタを通して高域成分（水平１／２，水平１／４の高域成分）を抜き出し、これらに適当なゲインを掛けてから足し合わせることで、所望のアパーチャコントロール信号（高域周波数補償信号）を生成している。
【００１４】
図１４及び図１５には、上述した第１の従来例の信号処理システムにおいて使用するフィルタの特性例を示す。図１４には１／２Ｈフィルタ４０６のフィルタ特性を、図１５には１／４Ｖフィルタ４０４，１／４Ｈフィルタ４０５のフィルタ特性を示す。
【００１５】
次に、図１６には、第２の従来例の信号処理システムの構成を示す。なお、この図１６において、図１３と略々同様の機能を有する構成要素にはそれぞれ同一の指示符号を付している。
【００１６】
この図１６の構成では、２画素混合読み出し時の輝度信号処理を行うようにしており、補色市松コーティングが施されたＣＣＤ等の撮像デバイスからの画像信号に時間軸方向のフィルタリング処理を施して当該画像信号の高周波成分を補償する信号処理（アパーチャコントロール処理）を行うようになされている。
【００１７】
この図１６において、入力端子４０１には、ＣＣＤ等の撮像デバイスから空間的に離散的に存在するＹｅ、Ｃｙ、Ｍｇ、Ｇの補色画像信号が供給される。この補色画像信号は、１／４Ｖフィルタ４０４と１ラインディレイ回路４０２に送られ、また、当該１ラインディレイ回路４０２の出力は１ラインディレイ回路４０３に送られる。
【００１８】
１ラインディレイ回路４０２及び４０３は、入力された画像信号をそれぞれ１ライン分遅延し、各々の遅延出力を１／４Ｖフィルタ４０４に送る。これにより、１／４Ｖフィルタ４０４には、３ライン同時化された画像信号が供給されることになる。
【００１９】
また、１ラインディレイ回路４０２にて１ライン分遅延された画像信号は、水平方向方向ローパスフィルタ４０７にも送られる。
【００２０】
水平方向ローパスフィルタ４０７は、１ラインディレイ回路４０２にて１ライン分遅延された画像信号の低域成分を抜き出すことで輝度信号を取り出し、この輝度信号を、加算器４１２、１／４Ｈフィルタ４０５及び１／２Ｈフィルタ４０６に送る。
【００２１】
１／４Ｖフィルタ４０４は、３ライン同時化された画像信号から、サンプリング周波数の垂直方向１／４の高域成分を抜き出し、その周波数成分を乗算器４０８に送る。１／４Ｈフィルタ４０５は、水平方向ローパスフィルタ４０７より取り出された輝度信号から、サンプリング周波数の水平方向１／４の高域成分を抜き出し、その周波数成分を乗算器４０９に送る。１／２Ｈフィルタ４０６は、水平方向ローパスフィルタ４０７より取り出された輝度信号から、サンプリング周波数の水平方向１／２の高域成分を抜き出し、その周波数成分を乗算器４１０に送る。
【００２２】
乗算器４０８は、１／４Ｖフィルタ４０４からの垂直方向１／４の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器４１１に送る。乗算器４０９は、１／４Ｈフィルタ４０５からの水平方向１／４の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器４１１に送る。乗算器４１０は、１／２Ｈフィルタ４０６からの水平方向１／２の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器４１１に送る。
【００２３】
加算器４１１では、乗算器４０８〜４１０の各出力信号を加算し、アパーチャコントロール信号として出力する。この加算器４１１からのアパーチャコントロール信号は加算器４１２に送られる。
【００２４】
加算器４１２では、上記アパーチャコントロール信号と輝度信号を加算し、これにより、当該加算器４１２からは、高周波成分を補償（アパーチャコントロール処理）した輝度信号が出力される。この加算器４１２から出力された輝度信号は、ガンマ（γ）補正回路４１３に送られる。
【００２５】
ガンマ補正回路４１３では、アパーチャコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子４１４から出力される。
【００２６】
この図１６に示した第２の従来例の信号処理システム（補色カメラシステム）の２画素混合読み出し時の輝度信号処理では、入力画像信号に対して水平方向のフィルタを掛けて輝度信号を取り出し、また、３ライン同時化された画像信号に対してフィルタを通して高域成分（サンプリング周波数の垂直１／４）を抜き出すと共に、輝度信号に対してもフィルタを通してその高域成分（水平１／２，水平１／４の高域成分）を抜き出し、これらに適当なゲインを掛けてから足し合わせて所望のアパーチャコントロール信号（高域周波数補償信号）を生成し、このアパーチャコントロール信号を輝度信号に加算するようにしている。
【００２７】
さらに、この図１６に示した第２の従来例の信号処理システムでは、１ラインディレイ回路４０２にて１ライン分遅延された画像信号を、ローパスフィルタ４１６に送り、さらにハイパスフィルタ４１７を通過させることで、当該画像信号からオートフォーカス検波用データを取り出すようになっている。
【００２８】
このように、当該第２の従来例の信号処理システムでは、オートフォーカス検波用データとして、入力された画像信号に対してローパスフィルタ４１６及びハイパスフィルタ４１７からなるバンドパスフィルタ、或いはハイパスフィルタ等を通した結果を使っている。なお、オートフォーカスの検波は、通常、マイクロコンピュータで行われる。
【００２９】
なお、この図１６に示した第２の従来例の信号処理システムにおいて使用している１／２Ｈフィルタ４０６のフィルタ特性は前記図１４と同じであり、１／４Ｖフィルタ４０４，１／４Ｈフィルタ４０５のフィルタ特性も前記図１５と同じである。
【００３０】
次に、図１７には、第３の従来例の信号処理システムの構成を示す。この第３の従来例の信号処理システムは、図１７に示すように、ＣＣＤ等のイメージセンサから同時に２ライン分の信号が出力され、この２ライン分の信号について輝度信号処理を同時に行うような構成である。
【００３１】
この図１７において、入力端子５２１には、ＣＣＤイメージセンサからの第１のライン（例えば偶数ライン）の画像信号が供給される。この第１のラインの画像信号は、Ｖフィルタ５２３と１ラインディレイ回路５２２、垂直方向ローパスフィルタ５２６に送られる。
【００３２】
また、入力端子５４１には、ＣＣＤイメージセンサからの第２のライン（例えば奇数ライン）の画像信号が供給される。この第２のラインの画像信号は、Ｖフィルタ５４３と１ラインディレイ回路５４２、垂直方向ローパスフィルタ５４６に送られると共に、第１のライン用のＶフィルタ５２３及び垂直方向ローパスフィルタ５２６にも送られる。
【００３３】
第１のライン用の１ラインディレイ回路５２２は、入力された第１のラインの信号を１ライン分遅延し、その遅延出力をＶフィルタ５２３と垂直方向ローパスフィルタ５３６、及び、第２のライン用のＶフィルタ５４３と垂直方向ローパスフィルタ５４６に送る。
【００３４】
また、第２のライン用の１ラインディレイ回路５４２は、入力された第２のラインの信号を１ライン分遅延し、その遅延出力をＶフィルタ５４３と垂直方向ローパスフィルタ５４６に送る。
【００３５】
これにより、Ｖラインフィルタ５２３と５４３、及び垂直方向ローパスフィルタ５２６と５４６には、それぞれ３ライン同時化された画像信号が供給されることになる。
【００３６】
第１のライン用の垂直方向ローパスフィルタ５２６の信号はさらに水平方向ローパスフィルタ５２７を通過するようになされており、これにより、３ライン同時化された画像信号から輝度信号が取り出される。この輝度信号は、１／４Ｈフィルタ５２４と１／２Ｈフィルタ５２５、及び加算器５３２に送られる。
【００３７】
また、第２のライン用の垂直方向ローパスフィルタ５４６の信号はさらに水平方向ローパスフィルタ５４７を通過するようになされており、これにより、３ライン同時化された画像信号から輝度信号が取り出される。この輝度信号は、１／４Ｈフィルタ５４４と１／２Ｈフィルタ５４５、及び加算器５５２に送られる。
【００３８】
第１のライン用のＶフィルタ５２３は、３ライン同時化された画像信号から、サンプリング周波数の垂直方向の高域成分を抜き出し、その周波数成分を乗算器５２８に送る。１／４Ｈフィルタ５２４は、水平方向ローパスフィルタ５２７より取り出された輝度信号から、サンプリング周波数の水平方向１／４の高域成分を抜き出し、その周波数成分を乗算器５２９に送る。１／２Ｈフィルタ５２５は、水平方向ローパスフィルタ５２７より取り出された輝度信号から、サンプリング周波数の水平方向１／２の高域成分を抜き出し、その周波数成分を乗算器５３０に送る。
【００３９】
また、第２のライン用のＶフィルタ５４３は、３ライン同時化された画像信号から、サンプリング周波数の垂直方向の高域成分を抜き出し、その周波数成分を乗算器５４８に送る。１／４Ｈフィルタ５４４は、水平方向ローパスフィルタ５４７より取り出された輝度信号から、サンプリング周波数の水平方向１／４の高域成分を抜き出し、その周波数成分を乗算器５４９に送る。１／２Ｈフィルタ５４５は、水平方向ローパスフィルタ５４７より取り出された輝度信号から、サンプリング周波数の水平方向１／２の高域成分を抜き出し、その周波数成分を乗算器５５０に送る。
【００４０】
第１のライン用の乗算器５２８は、Ｖフィルタ５２３からの垂直方向の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器５３１に送り、乗算器５２９は、１／４Ｈフィルタ５２４からの水平方向１／４の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器５３１に送り、乗算器５３０は、１／２Ｈフィルタ５２５からの水平方向１／２の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器５３１に送る。
【００４１】
また、第２のライン用の乗算器５４８は、Ｖフィルタ５４３からの垂直方向の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器５５１に送り、乗算器５４９は、１／４Ｈフィルタ５４４からの水平方向１／４の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器５５１に送り、乗算器５５０は、１／２Ｈフィルタ５４５からの水平方向１／２の帯域の周波数成分に所定のアパーチャコントロールゲインを掛け、その出力信号を加算器５５１に送る。
【００４２】
第１のライン用の加算器５３１では、乗算器５２８〜５３０の各出力信号を加算し、アパーチャコントロール信号として出力する。この加算器５３１からのアパーチャコントロール信号は加算器５３２に送られる。
【００４３】
また、第２のライン用の加算器５５１では、乗算器５４８〜５５０の各出力信号を加算し、アパーチャコントロール信号として出力する。この加算器５５１からのアパーチャコントロール信号は加算器５５２に送られる。
【００４４】
第１のライン用の加算器５３２では、上記加算器５３１からのアパーチャコントロール信号と、水平方向ローパスフィルタ５２７からの輝度信号を加算し、これにより、当該加算器５３２からは、高周波成分を補償（アパーチャコントロール処理）した輝度信号が出力される。この加算器５３２から出力された輝度信号は、ガンマ（γ）補正回路５３３に送られ、ガンマ補正回路５３３では、アパーチャコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子５３４から出力される。
【００４５】
また、第２のライン用の加算器５５２では、上記加算器５５１からのアパーチャコントロール信号と、水平方向ローパスフィルタ５４７からの輝度信号を加算し、これにより、当該加算器５５２からは、高周波成分を補償（アパーチャコントロール処理）した輝度信号が出力される。この加算器５５２から出力された輝度信号は、ガンマ（γ）補正回路５５３に送られ、ガンマ補正回路５５３では、アパーチャコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子５５４から出力される。
【００４６】
なお、この図１７に示す第３の従来例の信号処理システムにおいて、連続２ラインの信号をパラレル処理するのは、ノンインターレース処理時に、１フレームの信号をインターレース時の倍にクロックレートを上げて１系統で処理するのが難しい場合や、ＣＣＤからの信号が２ライン同時に出力されている場合等によく使われる。
【００４７】
【発明が解決しようとする課題】
ところで、上述した従来例のような信号処理システムでは、特定の周波数成分だけを持ち上げるフィルタを構成することが困難であり、したがって、所望の帯域以外の周波数も持ち上げざるを得なくなってしまう。一方で、所望の帯域を持ち上げようとして、例えば多タップのフィルタを組んだ場合、回路規模が多くなり、リンギング等の特性的にも問題がある。また、タップ数を増やしても、サンプリング周波数の１／２近辺の帯域を持ち上げるのは難しい。
【００４８】
また、上述した第２の従来例の信号処理システムのように、オートフォーカス検波用データには、入力された画像信号に対してローパスフィルタ及びハイパスフィルタからなるバンドパスフィルタ、或いはハイパスフィルタ等を通した結果を使っており、このオートフォーカス検波用データからマイクロコンピュータがオートフォーカスの検波を行うようになされているが、この場合、ハードウェア設計時にフィルタ特性を決定する制約を受けてしまい、マイクロコンピュータでのオートフォーカス検波手法の検討時に帯域選択の自由度が少ないことが欠点となっている。すなわち、オートフォーカスを行う場合、上記オートフォーカス検波データをマイクロコンピュータに送り、当該マイクロコンピュータでオートフォーカスのフォーカス値を決定することになるため、ハードウェアとマイクロコンピュータのソフトウェアの開発を同時に行うのが好ましいが、現実にはハードウェア開発後にマイクロコンピュータのソフトウェア開発をするケースが多く、フィルタ特性を後から自由に変えたいような要望があっても、回路規模からできないのが現状である。
【００４９】
さらに、上述した第３の従来例の信号処理システムのような、２ライン分の信号について輝度信号処理を同時に行う場合、図１７に示したように、同じ回路が２系統必要となり、回路規模が大きくなってしまうという問題がある。
【００５０】
そこで、本発明はこのような状況に鑑みてなされたものであり、小規模な回路構成にて所望の周波数帯域を確実に持ち上げることができ、アパーチャコントロール信号の周波数を容易に制御可能とし、また、マイクロコンピュータでのオートフォーカス検波手法の検討時に帯域選択の自由度を高めることができ、例えば２ライン分の信号について輝度信号処理を同時に行う場合でも回路規模の増大を抑えることが可能な、画像信号処理装置を提供することを目的とする。
【００５１】
【課題を解決するための手段】
本発明の画像信号処理装置は、画像信号の高周波成分を補償するアパーチャコントロール処理を行う画像信号処理装置において、画像信号をライン遅延し当該画像信号の複数ライン分を同時化して得られた時間軸上の信号を周波数軸上の信号に周波数変換する周波数変換手段と、上記周波数変換された上記複数ライン分の変換係数を周波数軸上で高周波成分を持ち上げることにより上記アパーチャコントロール処理のためのアパーチャコントロール信号の周波数を制御する補償手段とを有することにより、上述した課題を解決する。
【００５２】
ここで、周波数変換手段を複数個並列に備え、補償手段では、複数個の周波数変換手段による周波数変換後に周波数軸上で高周波成分を持ち上げて補償する。また、周波数変換手段は、正規化したマトリクス係数を用いたマトリクス演算により画像信号を周波数変換する。
【００５３】
【発明の実施の形態】
本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００５４】
本発明の第１の実施の形態では、周波数方向の信号処理例として離散コサイン変換（ＤＣＴ）を使った場合を例に挙げて説明する。また、この第１の実施の形態において、信号処理の入出力信号は時間軸上のデータであり、アパーチャコントロール信号処理の流れは、
入力→周波数変換→周波数係数別ゲインコントロール→周波数変換→出力
の順番となる。なお、この流れは、ＤＣＴに関わらず、他の周波数変換を用いた信号処理でも同様の流れとなる。
【００５５】
図１には、本発明の第１の実施の形態として、４×４のＤＣＴを使った場合のＣＣＤカメラ信号処理システムの構成例を示す。また、この図１の例では、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）の補色系の市松コーティングを施してなるインターレース読み出しＣＣＤからの信号を処理する例を示している。
【００５６】
この図１において、入力端子１０には、ＣＣＤイメージセンサからの空間的に離散的に存在するＹｅ（イエロー），Ｍｇ（マゼンタ），Ｃｙ（シアン），Ｇ（グリーン）の補色画像信号が供給される。この画像信号は、フォワードＤＣＴ回路１４、垂直方向ローパスフィルタ２２、及び１ラインディレイ回路１１に送られる。また、当該１ラインディレイ回路１１の出力は１ラインディレイ回路１２に送られ、当該１ラインディレイ回路１２の出力はさらに１ラインディレイ回路１３に送られる。
【００５７】
１ラインディレイ回路１１，１２，１３は、入力された画像信号をそれぞれ１ライン分遅延し、各々の遅延出力をフォワードＤＣＴ回路１４及び垂直方向ローパスフィルタ２２に送る。これにより、フォワードＤＣＴ回路１４及び垂直方向ローパスフィルタ２２には、４ライン同時化された画像信号が供給されることになる。
【００５８】
垂直方向ローパスフィルタ２２では垂直方向の低域成分を通過させ、その出力信号を水平方向ローパスフィルタ２３に送る。当該水平方向ローパスフィルタ２３では、さらに水平方向の低域成分を通過させる。これら垂直方向ローパスフィルタ２２と水平方向ローパスフィルタ２３により、上記４ライン同時化された画像信号から輝度信号が生成される。この輝度信号は、加算器２１に送られる。
【００５９】
一方、フォワードＤＣＴ回路１４では、４ライン同時化された画像信号を使って、４×４のＤＣＴ処理を行い、周波数軸上の４×４のＤＣＴ係数を生成する。当該フォワードＤＣＴ回路１４でのＤＣＴ処理により得られた４×４のＤＣＴ係数は、それぞれ対応する乗算器１５，１６，１７，１８に送られる。
【００６０】
各乗算器１５，１６，１７，１８では、それぞれ供給されたＤＣＴ係数に対して、各々所定のゲインＧ１，Ｇ２，Ｇ３，Ｇ４を乗算し、各乗算出力を逆（インバース）ＤＣＴ回路１９に送る。
【００６１】
逆ＤＣＴ回路１９では、各乗算器１５〜１８にてそれぞれ所定のゲインＧ１〜Ｇ４が乗算された４×４のＤＣＴ係数に逆ＤＣＴ処理を行い、時間軸上の信号に戻し、その信号を垂直方向ローパスフィルタ２０に送る。
【００６２】
垂直方向ローパスフィルタ２０では、逆ＤＣＴ処理された信号の垂直方向の低域成分を通過させる。当該垂直方向ローパスフィルタ２０の出力がアパーチャコントロール信号として加算器２１に送られる。
【００６３】
加算器２１では、上記アパーチャコントロール信号と輝度信号を加算し、これにより、当該加算器２１からは、高周波成分を補償（アパーチャコントロール処理）した輝度信号が出力される。この加算器２１から出力された輝度信号は、ガンマ（γ）補正回路２４に送られる。
【００６４】
ガンマ補正回路２４では、アパーチャコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号が出力端子２５から出力される。
【００６５】
上述したように、本発明の第１の実施の形態のＣＣＤカメラ信号処理システムにおいては、入力されたＣＣＤからの画像信号をそれぞれディレイライン１１〜１３にて１ライン分ディレイすることで４ライン同時化し、垂直方向ローパスフィルタ２２及び水平方向ローパスフィルタ２３により当該同時化したデータから輝度信号を生成するようにし、さらに、上記同時化した４ラインの信号を使って４×４のＤＣＴ処理を行い、このＤＣＴの周波数変換により得られた４×４のＤＣＴ係数に対してそれぞれ所定のゲインＧ１〜Ｇ４を掛けてアパーチャコントロール信号を生成するようにし、このアパーチャコントロール信号を輝度信号に加えることで高域成分の補償を行っている。
【００６６】
ここで、上述した４×４のＤＣＴは、一般的に以下の式で表される。
【００６７】
【数１】
0004310828.tif 000002
【００６８】
第１の実施の形態では、図１のフォワードＤＣＴ回路１４でのＤＣＴ処理の結果が上記式のＹ（ｈ，ｖ）となり、これらの４×４のＤＣＴ係数値に対してゲインＧ１〜Ｇ４を掛けることによって、高周波成分の大きさ及び帯域をコントロールすることができる。すなわち、ＣＣＤカメラ信号処理でのアパーチャコントロール信号を得るためには、例えば図２に示すような４×４のＤＣＴ係数のＤＣ（直流）係数のゲインを（×０）として、他のＤＣＴ係数に対して所望のゲインＧ１〜Ｇ４を掛ければよい。また、この時に持ち上げられる高周波成分は、２次元ＤＣＴの基底関数による周波数で決定できる。
【００６９】
上述したように、第１の実施の形態のＣＣＤカメラ信号処理システムにおいては、高周波成分の信号を補償する信号処理（アパーチャコントロール処理）の際に、画像データを周波数変換した後、その周波数軸上で高周波成分を持ち上げてアパーチャコントロール信号とすることにより、従来に比べて所望の周波数帯域を確実に持ち上げることが可能である。
【００７０】
なお、図１の例では、ＤＣＴ処理のブロックサイズを４×４としているが、例えばブロックサイズを例えば８×８や１６×１６のように広げれば（細かくすれば）、更に持ち上げる帯域を細かくコントロールすることが可能である。
【００７１】
また、前記図１３に示した第１の従来例の構成では、水平，垂直方向の信号にゲインを掛けて所望のアパーチャコントロール信号を得るようにしていたが、本発明の第１の実施の形態では、水平，垂直だけでなく斜め方向の周波数成分に対してそれぞれ独立にゲインを掛けることで、水平，垂直，斜め方向の周波数を調整したアパーチャコントロール信号を生成することが可能である。
【００７２】
これらのことから、当該第１の実施の形態によれば、前記従来例に比べて柔軟性があるアパーチャコントロール信号の周波数コントロールが実現可能となっている。
【００７３】
さらに、本発明の第１の実施の形態では、ＣＣＤカメラ信号処理システムを例に挙げたが、本発明は他の画像処理においても同様の方法を使うことで高周波成分を持ち上げることが可能となり、また、周波数変換はＤＣＴに限らずウエーブレット変換等でも良い。
【００７４】
その他、例えばいわゆるＭＰＥＧのようなＤＣＴ処理を伴う一般的なデータ圧縮方式の場合は、高周波数のＤＣＴ係数ほど小さいゲインを掛けることでデータ量を圧縮するようにしているが、当該第１の実施の形態では逆に、高周波数のＤＣＴ係数ほど大きなゲインを掛けるようにしている。本実施の形態のように、高周波数のＤＣＴ係数に対して大きなゲインを掛けるようにすれば、高周波成分を持ち上げた信号が得られることになる。
【００７５】
次に、本発明の第２の実施の形態について、以下に図面を参照しながら説明する。
【００７６】
図３には、本発明の第２の実施の形態の構成例を示す。なお、図３において、前記図１と同一の構成要素にはそれぞれ同じ指示符号を付してそれらの説明は省略する。以下、この第２の実施の形態では、第１の実施の形態と異なる部分のみを説明する。
【００７７】
この第２の実施の形態では、フォワードＤＣＴ回路１４、逆ＤＣＴ回路１９における回路規模を削減するために、ＤＣＴ係数の正規化と、加算器のみによる乗算器の実現とを行っている。
【００７８】
以下、これらの実現方法について説明する。
【００７９】
上記フォワードＤＣＴ、逆ＤＣＴの処理は２次元演算で表されるものであるが、当該第２の実施の形態では、実際に信号処理を実現する際に、この２次元演算を１次元演算の積の形に展開した形でマトリクス演算を行う。
【００８０】
ここで、フォワードＤＣＴ（以下、適宜ＦＤＣＴと記す）とインバース（逆）ＤＣＴ（以下、適宜ＩＤＣＴと記す）の演算マトリクスは、以下のようになる。
【００８１】
先ず、ＦＤＣＴにおいて、
Ｆ(u,v)＝Ｃ(u)cos｛(2v+1)uπ/8｝ (u,v=0,1,2,3)
とすると、
ＦＤＣＴ演算マトリクス：（４×１）ＦＤＣＴ２段（水平方向演算→垂直方向演算）構成は、以下の式のようになる。
【００８２】
【数２】
0004310828.tif 000003
【００８３】
一方、ＩＤＣＴにおいて、
Ｉ(u,v)＝Ｃ(v)cos｛(2u+1)vπ/8｝ (u,v=0,1,2,3)
とすると、
ＩＤＣＴ演算マトリクス：（４×１）ＩＤＣＴ２段（垂直方向演算→水平方向演算）構成は、以下の式のようになる。
【００８４】
【数３】
0004310828.tif 000004
【００８５】
上述した様なことから、
（４×１）ＦＤＣＴ→転置→（４×１）ＦＤＣＴの構成で２次元ＦＤＣＴ、
（４×１）ＩＤＣＴ→転置→（４×１）ＩＤＣＴの構成で２次元ＩＤＣＴ
が実現できる。
【００８６】
さらに、本発明の第２の実施の形態の信号処理装置では、以下のようにすることで演算回路規模の削減を行うようにしている。
【００８７】
すなわち、一般的なＤＣＴ処理では（８×８）のマトリクス演算が多く使われており、この場合、多くの積和演算が必要で回路規模も非常に大きくなり、これらの回路規模を削減して処理するために、一般のＤＣＴ演算では多くの高速演算アルゴリズムが提案されているが、当該第２の実施の形態では、演算マトリクスを（４×４）ＤＣＴとすることにより、積和演算回数を少なくし、更に演算係数を正規化することにより、単純な演算マトリクスを実現している。また、この第２の実施の形態では、乗算器の係数を固定値としているので、多入力加算器に展開して演算することにより、回路規模の削減が実現可能となっている。さらに、カメラ信号処理では、（４×４）のＤＣＴを使うことで、使えば従来のアパーチャコントロール信号処理と同等レベル以上の処理が可能となり、また、アパーチャコントロール信号処理において、さらに細かく周波数成分をコントロールしたい場合は、（８×８）などへのＤＣＴ演算マトリクス拡張が必要になる。
【００８８】
以下、ＤＣＴ係数の正規化について説明する。
【００８９】
４×４のＤＣＴの演算マトリクスでの各マトリクス係数を（×２√２）倍で正規化して算出すると、
α＝√2/4cos((0/8)π)＝2√2×√2/4×1      ＝1.000000
β＝  1/2cos((1/8)π)＝2√2×1/2×0.9238795＝1.306563
γ＝  1/2cos((2/8)π)＝2√2×1/2×√2      ＝1.000000
δ＝  1/2cos((3/8)π)＝2√2×1/2×0.3826834＝0.541196
となり、マトリクス演算係数が簡単になることがわかる。
【００９０】
さらに、β、δの係数については固定値なので、例えば以下のように、
α＝1.0＋1/4＋1/32＋1/64＋1/128＝1.304688
β＝1/2＋1/32＋1/128           ＝0.539063
とすれば、シフトと加算器だけでの回路構成が可能となる。但し、これらの係数で演算を行った場合、出力信号ゲインは１６倍になる。なお、演算誤差を極力少なくしたい場合は、加算器の入力を増やせば乗算器の誤差を最小限にできる。
【００９１】
また、４×１のＦＤＣＴ及び４×１のＩＤＣＴの演算マトリクス係数を展開すると、以下の式のように表すことができる。
【００９２】
【数４】
0004310828.tif 000005
【００９３】
この第２の実施の形態では、これらの一連の処理を実現するため、ＦＤＣＴとＩＤＣＴの構成を、図４に示すようにしている。
【００９４】
この図４において、フォワードＤＣＴ回路３５と転置ＲＡＭ３６及びフォワードＤＣＴ回路３７は、図３のフォワードＤＣＴ回路１４と対応し、逆ＤＣＴ回路３８と転置ＲＡＭ３９及び逆ＤＣＴ回路４０は、図３の逆ＤＣＴ回路１９と対応している。また、図４の乗算器１５〜１８は図３の乗算器１５〜１８と対応し、端子３１〜３４には図３のフォワードＤＣＴ回路１４への入力画像信号が供給され、端子４１〜４４から出力される信号は図３の逆ＤＣＴ回路１９の出力信号と対応している。
【００９５】
フォワードＤＣＴ回路３５と３７は共に４×１のＤＣＴを行う回路であり、逆ＤＣＴ回路３８と４０は共に４×１の逆ＤＣＴを行う回路である。また、転置ＲＡＭ３６と３９は共に４×４の座標変換ＲＡＭであり、４×４のマトリクスを図５の（ａ）に示すような書き込み順で書き込み、図５の（ｂ）に示すような読み出し順で読み出すことで、４×４の座標変換を行う。
【００９６】
図３のフォワードＤＣＴ回路１４〜逆ＤＣＴ回路１９までの構成を、当該図４の回路構成にすることにより、従来の信号処理と同等の回路規模で高性能なアパーチャコントロールが実現できる。
【００９７】
ここで、図４の例では、ＦＤＣＴを行った結果の４×４のＤＣＴ係数値に対してゲインを掛けることによって高周波数成分の大きさ、帯域をコントロールするようにしているが、この時に、持ち上げられる高周波成分は２次元ＤＣＴの基底関数による周波数で決定する。
【００９８】
また、カメラ信号処理でのアパーチャコントロール信号を得るためには、図６において４×４係数のＤＣ係数部のゲインを（×０）として、他の係数に対してはそれぞれ所望のゲインを掛ければよい。
【００９９】
例えば、図６の各ＡＣ係数に対して、以下のように乗算係数を与えれば、水平、垂直、斜め方向別にアパーチャコントロールゲインを自由に掛けることが可能になる。
【０１００】
Ｈ１，Ｈ２，Ｈ３：水平周波数ブースト（Boost）係数
Ｖ１，Ｖ２，Ｖ３：垂直周波数ブースト（Boost）係数
Ｄ１，Ｄ２，Ｄ３：斜め周波数ブースト（Boost）係数
ここで、Ｈ１，Ｈ２，Ｈ３，Ｖ１，Ｖ２，Ｖ３，Ｄ１，Ｄ２，Ｄ３の係数比でブースト周波数帯域を決定し、Ｈ１とＨ２の係数を大きくすれば水平（１／４）ｆｓ近辺を中心にブーストすることが可能となり、Ｈ１とＨ３の係数を大きくすれば（１／２）ｆｓ近辺を中心に周波数をブーストすることが可能となる。Ｖ，Ｄについても同様のコントロールが可能である。
【０１０１】
これにより、水平、垂直、斜め方向の周波数成分に対して独立にゲインを掛けることが可能となる。また、従来のアパーチャコントロール方式に比べて、周波数別のコントロールを容易に掛けることが可能になる。
【０１０２】
本発明の第２の実施の形態では、上述のようにすることで、ＤＣＴを用いてカメラ信号処理の高周波成分を持ち上げることが可能となる。なお、当該第２の実施の形態によれば、カメラ信号処理だけでなく、画像処理一般的に同様の方法を使って高周波成分を持ち上げることが可能となる。
【０１０３】
また、この第２の実施の形態では、フォワードＤＣＴ回路１４からの各４×４のＤＣＴ係数が、端子２６，２７，２８，２９を介してオートフォーカス検波データとして出力されている。すなわち、当該第２の実施の形態のシステムにおいては、ＤＣＴ等の周波数変換後のデータをオートフォーカス検波用データとすることにより、検波部のフィルタ回路規模を削減することが可能となる。また、この場合もＤＣＴ処理により得られた周波数軸上のデータを使うので、得られる周波数成分は２次元ＤＣＴの基底関数による周波数で自由度を持って決定することができることになり、したがって、従来のシステムに比べてマイクロコンピュータでのオートフォーカス検波手法の検討時に帯域選択の自由度を高めることができる。
【０１０４】
次に、カメラ信号処理において、例えばＣＣＤ等のイメージセンサから同時に２ライン分の信号が出力され、当該２ライン分の輝度信号処理を同時に行うような場合における本発明の第３の実施の形態の信号処理システムの構成例を図７に示す。なお、この図７中のフォワードＤＣＴ回路１４、乗算器１５〜１８、逆ＤＣＴ回路１９は、図３及び図４の対応する構成と同じものである。
【０１０５】
この図７において、入力端子５１には、ＣＣＤイメージセンサからの第１のライン（例えば偶数ライン）の画像信号が供給される。この第１のラインの画像信号は、第１のライン用の１ラインディレイ回路５２と、前記図３及び図４同様のフォワードＤＣＴ回路１４と、第１のライン用の垂直方向ローパスフィルタ６３に送られる。
【０１０６】
また、入力端子６１には、ＣＣＤイメージセンサからの第２のライン（例えば奇数ライン）の画像信号が供給される。この第２のラインの画像信号は、第２のライン用の１ラインディレイ回路６２と、上記フォワードＤＣＴ回路１４と、垂直方向ローパスフィルタ６３及び６５に送られる。
【０１０７】
第２のライン用の１ラインディレイ回路５２は、入力された第１のラインの画像信号を１ライン分遅延し、その遅延出力をフォワードＤＣＴ回路１４と垂直方向ローパスフィルタ６３及び６５に送る。
【０１０８】
また、第２のライン用の１ラインディレイ回路６２は、入力された第２のラインの画像信号を１ライン分遅延し、その遅延出力をフォワードＤＣＴ回路１４と第２のライン用の垂直ローパスフィルタ６５に送る。
【０１０９】
これにより、フォワードＤＣＴ回路１４には、４ライン同時化された画像信号が供給されることになる。
【０１１０】
第１のライン用の垂直方向ローパスフィルタ６３の信号はさらに水平方向ローパスフィルタ６４を通過するようになされており、これにより、画像信号から第１のラインに対応する輝度信号が取り出される。この輝度信号は、加算器６７に送られる。
【０１１１】
また、第２のライン用の垂直方向ローパスフィルタ６５の信号はさらに水平方向ローパスフィルタ６６を通過するようになされており、これにより、画像信号から第２のラインに対応する輝度信号が取り出される。この輝度信号は、加算器７０に送られる。
【０１１２】
前記図３及び図４同様のフォワードＤＣＴ回路１４、乗算器１５〜１８、及び逆ＤＣＴ回路１９を介した信号は、第１のラインに対応する垂直方向ローパスフィルタ５９と第２のラインに対応する垂直方向ローパスフィルタ６０に送られ、これら垂直方向ローパスフィルタ５９，６０により、各ラインの垂直方向の低域成分が取り出される。垂直方向ローパスフィルタ５９の出力は、第１のライン用のアパーチャコントロール信号として加算器６７に送られ、また、垂直方向ローパスフィルタ５９の出力は、第２のライン用のアパーチャコントロール信号として加算器６７に送られる。
【０１１３】
第１のライン用の加算器６７では、上記第１のライン用のアパーチャコントロール信号と同じく第１のラインの輝度信号を加算し、これにより、当該加算器６７からは、高周波成分を補償（アパーチャコントロール処理）した第１のラインの輝度信号が出力される。この加算器６７から出力された輝度信号は、第１のライン用のガンマ（γ）補正回路６８に送られる。
【０１１４】
また、第２のライン用の加算器７０では、上記第２のライン用のアパーチャコントロール信号と同じく第２のラインの輝度信号を加算し、これにより、当該加算器７１からは、高周波成分を補償（アパーチャコントロール処理）した第２のラインの輝度信号が出力される。この加算器７０から出力された輝度信号は、第２のライン用のガンマ（γ）補正回路７１に送られる。
【０１１５】
各ガンマ補正回路６８，７１では、それぞれのラインのアパーチャコントロール処理後の輝度信号をガンマ処理し、このガンマ補正後の輝度信号がそれぞれ出力端子６９，７２から出力される。
【０１１６】
このような処理をする場合、従来例では、例えば前記図１７に示したように同じ回路が２系統必要となり、回路規模が大きくなってしまっているが、図７に示した第３の実施の形態のシステムでは、ＤＣＴを使ったアパーチャコントロールを使うことにより、１系統で２チャンネル分の処理をすることが可能である。これにより、回路規模が少なく、高性能なアパーチャコントロールが可能となる。
【０１１７】
なお、当該第３の実施の形態の例に限らず、２ライン同時処理を行っているシステムに対して、アパーチャコントロール処理を行う時にＤＣＴを使用すれば、同様の効果が期待できる。
【０１１８】
上述したように、本発明の第２，第３の実施の形態のＣＣＤカメラ信号処理システムにおいては、高周波成分の信号を補償する信号処理（アパーチャコントロール処理）の際に、画像データを周波数変換した後、その周波数軸上で高周波成分を持ち上げてアパーチャコントロール信号とすることにより、従来例と同じ程度の回路規模で、従来に比べて所望の周波数帯域を確実に持ち上げることが可能である。
【０１１９】
また、従来の方法では、水平，垂直方向の信号にゲインを掛けて所望のアパーチャコントロール信号を得るようにしていたが、本発明の第２，第３の実施の形態では、ＤＣＴを用いてアパーチャコントロール処理を行う際に、ＤＣＴ演算係数の正規化、乗算器の加算器への置き換えによる回路削減をすることにより、従来のカメラシステムと同等の回路規模で、水平、垂直、斜め方向の所望の周波数を調整したアパーチャコントロール信号を生成することが可能である。
【０１２０】
さらに本発明の第３の実施の形態によれば、例えばＣＣＤイメージセンサから同時に２ライン分の信号出力に対して輝度信号処理を行うような場合、従来は２チャンネル分必要だったアパーチャコントロール信号処理回路が、ＤＣＴ演算を使うことによって１チャンネル分で実現できるようになり、回路規模を削減できると同時に高性能なアパーチャコントロールが可能である。
【０１２１】
また、従来はバンドパスフィルタやハイパスフィルタを使って行っていたＣＣＤカメラシステムでのオートフォーカス検波用データの生成を、本発明の第２の実施の形態では、ＤＣＴ等の周波数変換した後のデータをオートフォーカス検波用データとすることにより、検波部の回路規模を削減し、且つ、検波時の帯域選択の自由度も上げることになり、結果として検波精度を高くすることが可能となっている。
【０１２２】
これらのことから、本発明の第２，第３の実施の形態によれば、従来に比べて柔軟性があるアパーチャコントロール信号の周波数コントロールが実現可能となっている。
【０１２３】
さらに、本発明の第２，第３の実施の形態では、ＣＣＤカメラ信号処理システムを例に挙げたが、本発明は他の画像処理においても同様の方法を使うことで高周波成分を持ち上げることが可能となり、また、周波数変換はＤＣＴに限らずウエーブレット変換等でも良い。
【０１２４】
なお、上述の例では、ＤＣＴ処理のブロックサイズを４×４としているが、例えばブロックサイズを例えば８×８や１６×１６のように広げれば（細かくすれば）、更に持ち上げる帯域を細かくコントロールすることが可能である。
【０１２５】
その他、例えばいわゆるＭＰＥＧのようなＤＣＴ処理を伴う一般的なデータ圧縮方式の場合は、高周波数のＤＣＴ係数ほど小さいゲインを掛けることでデータ量を圧縮するようにしているが、本発明の実施の形態では逆に、高周波数のＤＣＴ係数ほど大きなゲインを掛けるようにしている。本発明の実施の形態のように、高周波数のＤＣＴ係数に対して大きなゲインを掛けるようにすれば、高周波成分を持ち上げた信号が得られることになる。
【０１２６】
ところで、上述した図１や図３に示したようなシステム構成例では、水平方向の周波数に対してアパーチャコントロール信号が得られない場合がある。例えば、図８のように４×４のＤＣＴ処理の境目だけに急激な信号エッジがきたような場合、前述の例では図６のようにＤＣゲインに０を掛けているため、アパーチャコントロール信号がエッジに乗らなくなる。すなわち、垂直方向の周波数に対しては、図８中のＶ０〜Ｖ３、Ｖ１〜Ｖ４、・・・のように１ラインづつ処理された最後に垂直方向のローパスフィルタが掛かっているので、アパーチャコントロール信号は特に問題にならないレベルであるが、水平方向では、横の画素同士での加算を行わないため、４×４ＤＣＴ範囲の境目に信号エッジが入ると、この部分はアパーチャコントロールが掛からない場合がある。このため、アパーチャコントロールを掛けたいエッジに対してアパーチャコントロールが掛からない問題がある。
【０１２７】
そこで、本発明の第４の実施の形態では、このようなエッジ部におけるアパーチャコントロールを実現するため、以下のようなことを行っている。
【０１２８】
図９には、本発明の第４の実施の形態の構成例を示す。なお、この図９において、前述した各図と同じ構成要素には同一の指示符号を付し、以下異なる部分を中心に説明する。
【０１２９】
図９において、前述と同様にして４ライン同時化された画像信号は、フォワードＤＣＴ回路８０に送られる。当該フォワードＤＣＴ回路８０では、４ライン同時化された画像信号を使って、２系統の４×４のＤＣＴ処理を行い、周波数軸上の２系統の４×４のＤＣＴ係数を生成する。なお、以下の説明では、２つの系統のうち、一方の系統を表すために各指示符号にはａを付加し、他方に系統を表すために各指示符号にはｂを付加している。当該フォワードＤＣＴ回路８０でのＤＣＴ処理により得られた２系統の４×４のＤＣＴ係数は、それぞれ対応する２系統分の乗算器１５ａ，１６ａ，１７ａ，１８ａと１５ｂ，１６ｂ，１７ｂ，１８ｂに送られる。
【０１３０】
２系統分の各乗算器１５ａ，１６ａ，１７ａ，１８ａと１５ｂ，１６ｂ，１７ｂ，１８ｂでは、それぞれ供給されたＤＣＴ係数に対して、各系統毎に各々所定のゲインＧ１，Ｇ２，Ｇ３，Ｇ４を乗算し、それら２系統分の各乗算出力を逆（インバース）ＤＣＴ回路８１に送る。
【０１３１】
逆ＤＣＴ回路８１では、２系統の各乗算器１５ａ〜１８ａ、１５ｂ〜１８ｂにてそれぞれ所定のゲインＧ１〜Ｇ４が乗算された２系統の４×４のＤＣＴ係数に逆ＤＣＴ処理を行い、時間軸上の信号に戻し、その信号をそれぞれ対応する加算器８２〜８５に送る。
【０１３２】
これら加算器８２〜８５では、２系統のそれぞれ対応する４×４のＤＣＴ係数を加算して１系統の４×４のＤＣＴ係数を生成する。これら加算器８２〜８５にて１系統になされた４×４のＤＣＴ係数が、前述の場合と同様の垂直方向ローパスフィルタ２０に送られる。
【０１３３】
図１０には図９の２系統の処理を実現するためのフォワードＤＣＴと逆（インバース）ＤＣＴの構成例を示す。なお、この図１０において、前述した各図と同じ構成要素には同一の指示符号を付し、以下異なる部分を中心に説明する。
【０１３４】
この図１０において、２系統分のフォワードＤＣＴ回路３５ａ，３５ｂと転置ＲＡＭ３６ａ，３６ｂ及びフォワードＤＣＴ回路３７ａ，３７ｂは、図９のフォワードＤＣＴ回路８０と対応し、２系統分の逆ＤＣＴ回路３８ａ，３８ｂと転置ＲＡＭ３９ａ，３９ｂ及び逆ＤＣＴ回路４０ａ，４０ｂは、図９の逆ＤＣＴ回路８１と対応している。また、図１０の各乗算器１５ａ〜１８ａ，１５ｂ〜１８ｂは図９の乗算器１５ａ〜１８ａ，１５ｂ〜１８ｂと対応し、端子３１〜３４には図９のフォワードＤＣＴ回路８０への入力画像信号が供給され、端子４１ａ〜４４ａ，４１ｂ〜４４ｂから出力される２系統分の信号は図９の逆ＤＣＴ回路８１の出力信号と対応している。
【０１３５】
フォワードＤＣＴ回路３５ａ及び３５ｂと３７ａ及び３７ｂは共に４×１のＤＣＴを行う回路であり、逆ＤＣＴ回路３８ａ及び３８ｂと４０ａ及び４０ｂは共に４×１の逆ＤＣＴを行う回路である。また、転置ＲＡＭ３６ａ及び３６ｂと３９ａ及び３９ｂは共に４×４の座標変換ＲＡＭであり、それぞれ４×４のマトリクスを前記図５の（ａ）に示すような書き込み順で書き込み、図５の（ｂ）に示すような読み出し順で読み出すことで、４×４の座標変換を行う。
【０１３６】
図９のフォワードＤＣＴ回路８０〜逆ＤＣＴ回路８１までの構成を、当該図１０の回路構成にすることにより、従来の信号処理と同等の回路規模で高性能なアパーチャコントロールが実現できる。
【０１３７】
すなわち、第４の実施の形態の構成によれば、入力した４ラインの信号は、図１１のように、フォワードＤＣＴ回路８０により、Ｈ０〜Ｈ３，Ｖ０〜Ｖ３の４×４のＤＣＴ系統と、これに対して水平サンプリングで２ビット（２サンプル）遅らせたＨ２〜Ｈ５，Ｖ０〜Ｖ３の４×４ＤＣＴ系統との２系統で処理がなされる。
【０１３８】
次に、フォワードＤＣＴ回路８０によって２系統の周波数変換された４×４のＤＣＴ係数の１６個に対してそれぞれ独立のゲインＧ１〜Ｇ４を掛けてアパーチャコントロール信号を得る。このとき、２系統の４×４のＤＣＴ係数に乗算するゲインＧ１〜Ｇ４は各系統毎に同じゲインとしている。ゲインＧ１〜Ｇ４が掛けられたＤＣＴ係数は、その後逆ＤＣＴ回路８１にて２系統で４×４の逆ＤＣＴを行い、時間軸上のデータに戻される。
【０１３９】
その後、２系統のアパーチャコントロール信号を加算することにより、図１１でのＨ３，Ｈ４エッジのアパーチャコントロール信号を得ることが可能となる。
【０１４０】
これは、Ｈ０〜Ｈ３、Ｖ０〜Ｖ３の４×４のＤＣＴ処理ブロックでは得られなかったエッジの情報がＨ２〜Ｈ５、Ｖ０〜Ｖ３の４×４ＤＣＴ処理ブロックの結果で得られるためである。このように水平２ビット幅でオーバーラップして２系統でＤＣＴ処理を行うことにより、エッジ信号を得ている。
【０１４１】
なお、図９及び図１０の構成では、４×４の２系統のＤＣＴ処理を例に挙げたが、例えば、図１２のように、Ｈ０〜Ｈ３，Ｖ０〜Ｖ３の４×４のＤＣＴ処理と、Ｈ１〜Ｈ４，Ｖ０〜Ｖ３の４×４のＤＣＴ処理、Ｈ２〜Ｈ５，Ｖ０〜Ｖ３の４×４ＤＣＴ処理、Ｈ３〜Ｈ６，Ｖ０〜Ｖ３の４×４ＤＣＴ処理の４系統をパラレル処理して加算すれば、特性としては一番望ましい形のアパーチャコントロール信号が得られる。このように４系統で処理を行う場合、その回路構成は、図１０の２系統が４系統になり、後段でこれら４系統分の信号をそれぞれ加算して１系統にすれば良い。なお、上述のように４系統にすることは最も好ましい例であるが、必要充分な特性を補償するためには上述のように２系統持てばよい。
【０１４２】
この第４の実施の形態によれば、ＣＣＤカメラシステム等の画像信号処理装置において、複数系統分のＤＣＴ，逆ＤＣＴの周波数変換手段を並列に用意し、各周波数変換手段によってそれぞれ周波数軸上で高周波成分を持ち上げてアパーチャコントロール信号を生成することにより、周波数特性の良いアパーチャコントロール信号が得られる。例えば、２系統分の周波数変換手段を備えれば、必要充分な特性を有する良好なアパーチャコントロール信号が得られる。
【０１４３】
【発明の効果】
以上の説明で明らかなように、本発明においては、画像信号を周波数変換し、その周波数変換後に周波数軸上で高周波成分を持ち上げて補償することにより、小規模な回路構成にて所望の周波数帯域を確実に持ち上げることができ、また、補償する周波数も容易に制御可能である。
【０１４４】
ここで、本発明によれば、周波数変換手段を複数個並列に備え、補償手段では、複数個の周波数変換手段による周波数変換後に周波数軸上で高周波成分を持ち上げて補償することにより、より特性の良い補償がを可能である。すなわち、複数系統分の周波数変換手段を並列に用意し、各周波数変換手段によってそれぞれ周波数軸上で高周波成分を持ち上げてアパーチャコントロール信号を生成することにより、周波数特性の良いアパーチャコントロール信号が得られる。例えば、２系統分の周波数変換手段を備えれば、必要充分な特性を有する良好なアパーチャコントロール信号が得られる。
【０１４５】
また、本発明においては、正規化したマトリクス係数を用いたマトリクス演算により画像信号を周波数変換し、その周波数変換後に周波数軸上で高周波成分を持ち上げて補償することにより、小規模な回路構成にて所望の周波数帯域を確実に持ち上げることができ、アパーチャコントロール信号の周波数を容易に制御可能である。
【０１４６】
また、本発明においては、周波数変換手段にて２ライン分の画像信号を同時に周波数変換することにより、２ライン分の信号について輝度信号処理を同時に行う場合でも回路規模の増大を抑えることが可能である。
【０１４７】
なお、本発明においては、周波数変換後の信号をカメラシステムのオートフォーカス検波用データとすることにより、例えばマイクロコンピュータでのオートフォーカス検波手法の検討時に帯域選択の自由度を高めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のＣＣＤカメラ信号処理システムの概略構成を示すブロック回路図である。
【図２】第１の実施の形態における４×４のＤＣＴ係数のブロックと各ＤＣＴ係数に掛けるゲインの説明に用いる図である。
【図３】本発明の第２の実施の形態のＣＣＤカメラ信号処理システムの概略構成を示すブロック回路図である。
【図４】第２の実施の形態のシステムにおけるフォワードＤＣＴ回路から逆ＤＣＴ回路までの詳細な構成を示すブロック回路図である。
【図５】第２の実施の形態における転置ＲＡＭの書き込み／読み出し順の説明に用いる図である。
【図６】第２の実施の形態における４×４のＤＣＴ係数のブロックと各ＤＣＴ係数に掛けるゲインの説明に用いる図である。
【図７】２ライン分の輝度信号処理を同時に行うようば場合における第３の発明実施の形態の信号処理システムの構成例を示すブロック回路図である。
【図８】４×４のＤＣＴ処理の境目にエッジが来た場合の欠点の説明に使用する図である。
【図９】本発明の第４の実施の形態のＣＣＤカメラ信号処理システムの概略構成を示すブロック回路図である。
【図１０】第４の実施の形態のシステムにおけるフォワードＤＣＴ回路から逆ＤＣＴ回路までの詳細な構成を示すブロック回路図である。
【図１１】第４の実施の形態における２系統のＤＣＴ処理の説明に用いる図である。
【図１２】第４の実施の形態における４系統のＤＣＴ処理の説明に用いる図である。
【図１３】第１の従来例のＣＣＤカメラ信号処理システムの概略構成を示すブロック回路図である。
【図１４】従来のＣＣＤカメラ信号処理システムに用いられる１／２Ｈフィルタのフィルタ特性を示す特性図である。
【図１５】従来のＣＣＤカメラ信号処理システムに用いられる１／４Ｖフィルタ，１／４Ｈフィルタのフィルタ特性を示す特性図である。
【図１６】第２の従来例の補色カメラシステムにおける全画素独立読み出し時の輝度信号処理の構成例を示すブロック回路図である。
【図１７】２ライン分の輝度信号処理を同時に行うようば場合における第３の従来例の信号処理システムの構成例を示すブロック回路図である。
【符号の説明】
１０，５１，６１  入力端子、  １１〜１３，５２，６２  １ラインディレイ回路、  １４，３５，３７，８０  フォワードＤＣＴ回路、  １５〜１８  乗算器、  １９，３８，４０，８１  逆ＤＣＴ回路、  ２０  垂直方向ローパスフィルタ、  ２１，６７，７０，８２〜８５  加算器、  ２２，５９，６０，６３，６５  垂直方向ローパスフィルタ、  ２３，６４，６６  水平方向ローパスフィルタ、  ２４，６８，７１  ガンマ補正回路、  ２５，６９，７１  出力端子、３６，３９  転置ＲＡＭ
【図１】
0004310828.tif 000006
【図２】
0004310828.tif 000007
【図３】
0004310828.tif 000008
【図４】
0004310828.tif 000009
【図５】
0004310828.tif 000010
【図６】
0004310828.tif 000011
【図７】
0004310828.tif 000012
【図８】
0004310828.tif 000013
【図９】
0004310828.tif 000014
【図１０】
0004310828.tif 000015
【図１１】
0004310828.tif 000016
【図１２】
0004310828.tif 000017
【図１３】
0004310828.tif 000018
【図１４】
0004310828.tif 000019
【図１５】
0004310828.tif 000020
【図１６】
0004310828.tif 000021
【図１７】
0004310828.tif 000022