(57)【特許請求の範囲】
【請求項１】
第１の撮像素子を、第２および第３の撮像素子に対して水平および垂直方向に１／２画素間隔ずらして配置した撮像装置において、
前記第１の撮像素子の出力を、画素と同一の垂直空間位置における２次元低周波数成分である第１の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元低周波数成分である第２の周波数成分と、画素と同一の垂直空間位置における２次元高周波成分である第３の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元高周波成分である第４の周波数成分に分解して出力する第１の周波数分割手段と、
前記第２の撮像素子の出力を、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元低周波数成分である第１の周波数成分と、画素と同一の垂直空間位置における２次元低周波数成分である第２の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元高周波成分である第３の周波数成分と、画素と同一の垂直空間位置における２次元高周波成分である第４の周波数成分に分解して出力する第２の周波数分割手段と、
前記第３の撮像素子の出力を、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元低周波数成分である第１の周波数成分と、画素と同一の垂直空間位置における２次元低周波数成分である第２の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元高周波成分である第３の周波数成分と、画素と同一の垂直空間位置における２次元高周波成分である第４の周波数成分に分解して出力する第３の周波数分割手段と、
前記第１〜第３の周波数分割手段からそれぞれ出力される、第１の周波数成分に対してマトリクス演算を行う第１のマトリクス回路と、
前記第１〜第３の周波数分割手段からそれぞれ出力される、第２の周波数成分に対してマトリクス演算を行う第２のマトリクス回路と、
前記第１〜第３の周波数分割手段からそれぞれ出力される、第３の周波数成分の加重平均を求める第１の加重平均手段と、
前記第１〜第３の周波数分割手段からそれぞれ出力される、第４の周波数成分の加重平均を求める第２の加重平均手段と、
前記第１の加重平均手段の出力からディテール信号を作成する第１のディテール信号作成部と、
前記第２の加重平均手段の出力からディテール信号を作成する第２のディテール信号作成部と、
前記第１のマトリクス回路の出力と第１の加重平均手段の出力とを加算する第１の加算手段と、
前記第２のマトリクス回路の出力と第２の加重平均手段の出力とを加算する第２の加算手段と、
前記第１のディテール信号作成部の出力と前記第１の加算手段の出力とを加算する第３の加算手段と、
前記第２のディテール信号作成部の出力と前記第２の加算手段の出力とを加算する第４の加算手段と、を備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
周波数分割手段から出力される各周波数成分は、
前記第１の撮像素子の画素と同じ水平方向空間位置の周波数成分と、前記第２および第３の撮像素子の画素と同じ水平方向空間位置の周波数成分とを時間軸多重したものである、
ことを特徴とする撮像装置。
【請求項３】
第１の撮像素子を、第２および第３の撮像素子に対して水平および垂直方向に１／２画素間隔ずらして配置した撮像装置において、
前記第１の撮像素子の出力から、前記第１の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第１のフィルタ処理と、前記第２および第３の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第２のフィルタ処理を施し、前記第１および第２のフィルタ処理の結果を出力する第１のフィルタ手段と、
前記第２の撮像素子の出力から、前記第１の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第１のフィルタ処理と、前記第２および第３の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第２のフィルタ処理を施し、前記第１および第２のフィルタ処理の結果を出力する第２のフィルタ手段と、
前記第３の撮像素子の出力から、前記第１の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第１のフィルタ処理と、前記第２および第３の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第２のフィルタ処理を施し、前記第１および第２のフィルタ処理の結果を出力する第３のフィルタ手段と、
前記第１〜第３のフィルタ手段からそれぞれ出力される、第１のフィルタ処理出力に対してマトリクス演算を行う第１のマトリクス回路と、
前記第１〜第３のフィルタ手段からそれぞれ出力される、第２のフィルタ処理出力に対してマトリクス演算を行う第２のマトリクス回路と、
前記第１〜第３のフィルタ手段からそれぞれ出力される、第１のフィルタ処理出力の加重平均を求める第１の加重平均手段と、
前記第１〜第３のフィルタ手段からそれぞれ出力される、第２のフィルタ処理出力の加重平均を求める第２の加重平均手段と、
前記第１の加重平均手段の出力からディテール信号を作成する第１のディテール信号作成部と、
前記第２の加重平均手段の出力からディテール信号を作成する第２のディテール信号作成部と、
前記第１のマトリクス回路の出力と前記第１のディテール信号作成部の出力とを加算する第１の加算手段と、
前記第２のマトリクス回路の出力と前記第２のディテール信号作成部の出力とを加算する第２の加算手段と、を備えたことを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置において、
第１〜第３のフィルタ手段から出力される第１および第２のフィルタ処理出力は、
前記第１の撮像素子の画素と同じ水平方向空間位置の水平低周波数成分と水平高周波数成分との和と、前記第２および第３の撮像素子の画素と同じ水平方向空間位置の水平低周波数成分と水平高周波数成分との和とを時間軸多重したものである、
ことを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどの撮像装置に関する。
【０００２】
【従来の技術】
最近、１００万画素以上の静止画撮影機能を搭載するビデオカメラが発売されてきている。その多くは多画素のＣＣＤを１個使った単板方式であるが、その他の方式として、３板方式において空間画素ずらし配置を使って画素数を４倍に増やす方法がある。これは、Ｇ（緑）用のＣＣＤをＲ（赤）およびＢ（青）用のＣＣＤに対して水平および垂直方向に画素間隔の１／２だけずらして配置することにより、見かけの画素数を水平・垂直各２倍、計４倍にして解像度を稼ぐためのものである。
【０００３】
これを図９を用いて周波数領域で説明する。空間画素ずらしでは、ＣＣＤへの入射光に対し、光学ＬＰＦ（ローパスフィルタ）などによりＣＣＤの駆動周波数ｆｓまでの帯域制限を施す。このため、例えばＧ用ＣＣＤの出力信号には図９（ａ）のようにベースバンド信号Ｇと、ｆｓを中心とする折り返し成分Ｇ’が含まれる。同様にＲおよびＢ用の出力信号にもベースバンド信号ＲおよびＢ（図９（ａ）にはＲＢと記載）、折り返し成分Ｒ’およびＢ’（図９（ａ）にはＲＢ’と記載）が含まれる。
【０００４】
Ｇ用ＣＣＤはＲおよびＢ用のＣＣＤに対して１／２画素ずれているため、Ｇの信号を基準にした場合、折り返し成分Ｒ’およびＢ’の位相はＧ’に対して反転することが一般に知られている。輝度信号ＹはＲＧＢ信号に対して数１で表される式を適用する。
（数１）  Ｙ＝０.３０Ｒ＋０.５９Ｇ＋０.１１Ｂ
折り返し成分に対して数１の演算を施した場合について考えると、Ｒ’とＢ’の位相がＧ’に対して反転しているので、ＲＧＢ信号のレベルが等しい無彩色部では数２のようになる。
（数２）  Ｙ'＝０.３０Ｒ'＋０.５９Ｇ'＋０.１１Ｂ'＝（−０.３０＋０.５９−０.１１）Ｇ'＝０.１8Ｇ'
数２から明らかなように、無彩色部での折り返し成分のレベルは０．１８倍となり、８２％の折り返し成分はキャンセルされる。このため、信号帯域はｆｓ近辺まで伸びると考えることができ、限界解像度を元のＣＣＤに対して約２倍に伸ばせることになる。
【０００５】
【発明が解決しようとする課題】
しかし、互いに空間位置の異なるＧ信号とＲＢ信号を数１に従って演算する際には、何らかの方法で空間位置を合わせる必要がある。一般的に行われているのは、ＲＧＢの画素の出力値は１／２画素ずれた空間位置においても値の変化はほとんど無いと仮定して１／２画素前の値をそのまま使う前値ホールドである。前値ホールドの周波数特性は図９（ｂ）のようにｆｓにおいてゼロとなるものであるため、ＲＧＢ信号および輝度信号Ｙの周波数特性は図９（ｃ）および（ｄ）のようになる。このため、前値ホールドを用いると高域の周波数特性は大きく劣化し、特にｆｓ／２以上の周波数特性が悪くなるという課題があった。
【０００６】
また、１／２画素ずれた空間位置における値を、直線補間など一般的に知られている補間方法で求めると、補間フィルタの周波数特性はｆｓ／２においてゼロになるものであり、図９（ｂ）に示した前値ホールドの特性よりもｆｓ／２近辺の周波数ではさらに劣化する。
【０００７】
本発明は上記の問題点を解消するためになされたもので、周波数特性の優れた補間を実現でき、空間画素ずらし配置されたＣＣＤからの出力信号を用いて高域レスポンスの優れた輝度信号を作成することのできる撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
この課題を解決するために、本発明の請求項１にかかる撮像装置は、第１の撮像素子を、第２および第３の撮像素子に対して水平および垂直方向に１／２画素間隔ずらして配置した撮像装置において、前記第１の撮像素子の出力を、画素と同一の垂直空間位置における２次元低周波数成分である第１の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元低周波数成分である第２の周波数成分と、画素と同一の垂直空間位置における２次元高周波成分である第３の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元高周波成分である第４の周波数成分に分解して出力する第１の周波数分割手段と、前記第２の撮像素子の出力を、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元低周波数成分である第１の周波数成分と、画素と同一の垂直空間位置における２次元低周波数成分である第２の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元高周波成分である第３の周波数成分と、画素と同一の垂直空間位置における２次元高周波成分である第４の周波数成分に分解して出力する第２の周波数分割手段と、前記第３の撮像素子の出力を、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元低周波数成分である第１の周波数成分と、画素と同一の垂直空間位置における２次元低周波数成分である第２の周波数成分と、画素と垂直方向に１／２画素ずれた垂直空間位置における２次元高周波成分である第３の周波数成分と、画素と同一の垂直空間位置における２次元高周波成分である第４の周波数成分に分解して出力する第３の周波数分割手段と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第１の周波数成分に対してマトリクス演算を行う第１のマトリクス回路と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第２の周波数成分に対してマトリクス演算を行う第２のマトリクス回路と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第３の周波数成分の加重平均を求める第１の加重平均手段と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第４の周波数成分の加重平均を求める第２の加重平均手段と、前記第１の加重平均手段の出力からディテール信号を作成する第１のディテール信号作成部と、前記第２の加重平均手段の出力からディテール信号を作成する第２のディテール信号作成部と、前記第１のマトリクス回路の出力と第１の加重平均手段の出力とを加算する第１の加算手段と、前記第２のマトリクス回路の出力と第２の加重平均手段の出力とを加算する第２の加算手段と、前記第１のディテール信号作成部の出力と前記第１の加算手段の出力とを加算する第３の加算手段と、前記第２のディテール信号作成部の出力と前記第２の加算手段の出力とを加算する第４の加算手段と、を備えたものである。
【０００９】
また、本発明の請求項２にかかる撮像装置は、請求項１記載の撮像装置において、周波数分割手段から出力される各周波数成分は、前記第１の撮像素子の画素と同じ水平方向空間位置の周波数成分と、前記第２および第３の撮像素子の画素と同じ水平方向空間位置の周波数成分とを時間軸多重したものである。
【００１０】
また、本発明の請求項３にかかる撮像装置は、第１の撮像素子を、第２および第３の撮像素子に対して水平および垂直方向に１／２画素間隔ずらして配置した撮像装置において、前記第１の撮像素子の出力から、前記第１の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第１のフィルタ処理と、前記第２および第３の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第２のフィルタ処理を施し、前記第１および第２のフィルタ処理の結果を出力する第１のフィルタ手段と、前記第２の撮像素子の出力から、前記第１の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第１のフィルタ処理と、前記第２および第３の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第２のフィルタ処理を施し、前記第１および第２のフィルタ処理の結果を出力する第２のフィルタ手段と、前記第３の撮像素子の出力から、前記第１の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第１のフィルタ処理と、前記第２および第３の撮像素子の画素と同じ垂直方向空間位置の垂直低周波数成分と垂直高周波数成分との和を求める第２のフィルタ処理を施し、前記第１および第２のフィルタ処理の結果を出力する第３のフィルタ手段と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第１のフィルタ処理出力に対してマトリクス演算を行う第１のマトリクス回路と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第２のフィルタ処理出力に対してマトリクス演算を行う第２のマトリクス回路と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第１のフィルタ処理出力の加重平均を求める第１の加重平均手段と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第２のフィルタ処理出力の加重平均を求める第２の加重平均手段と、前記第１の加重平均手段の出力からディテール信号を作成する第１のディテール信号作成部と、前記第２の加重平均手段の出力からディテール信号を作成する第２のディテール信号作成部と、前記第１のマトリクス回路の出力と前記第１のディテール信号作成部の出力とを加算する第１の加算手段と、前記第２のマトリクス回路の出力と前記第２のディテール信号作成部の出力とを加算する第２の加算手段と、を備えたものである。
【００１１】
また、本発明の請求項４にかかる撮像装置は、請求項３記載の撮像装置において、第１〜第３のフィルタ手段から出力される第１および第２のフィルタ処理出力は、前記第１の撮像素子の画素と同じ水平方向空間位置の水平低周波数成分と水平高周波数成分との和と、前記第２および第３の撮像素子の画素と同じ水平方向空間位置の水平低周波数成分と水平高周波数成分との和とを時間軸多重したものである。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
図１は、請求項１の発明に対応する実施の形態１による撮像装置を示すブロック図である。
【００１３】
以下の説明では、Ｇ用ＣＣＤ１−１は、Ｒ用ＣＣＤ１−２およびＢ用ＣＣＤ１−３に対して、水平および垂直方向に１／２画素分ずらして配置されているものとする。
【００１４】
Ｇ用ＣＣＤ撮像素子１−１から出力されたＧ信号は帯域分割手段２−１に入力され、２次元低周波数成分と２次元高周波数成分に分割される。このイメージをまず図２で説明する。
【００１５】
図２は水平または垂直方向の信号およびフィルタの周波数特性を示すものである。図２（ａ）はＬＰＦおよびＨＰＦの周波数特性であり、ｆｓはＣＣＤ駆動周波数およびサンプリング周波数である。図の簡略化のため、フィルタの周波数特性は理想特性の形状で表現しているが、以下の説明は理想特性に限らず成立するものである。ＬＰＦの通過域は０〜ｆｓ／４および３ｆｓ／４〜ｆｓ、ＨＰＦの通過域はｆｓ／４〜３ｆｓ／４とする。一般的なデジタルフィルタ特性は、サンプリング周波数をｆｓとするとき、ｆｓ／２に対して左右対称な特性であるから、図２（ａ）のような特性は実現可能である。
【００１６】
帯域分割手段２−１では、図２（ａ）に示すような帯域のＬＰＦおよびＨＰＦにより入力信号を２つの成分に分割する。このとき、両成分ともＧ用ＣＣＤの画素と同じ空間位置に存在する成分と、１／２画素ずれた空間位置に存在する成分を同時に求める。このイメージを図３を用いて説明する。
【００１７】
図３は、一般的なＦＩＲ（Finite Impulse Response）デジタルフィルタの構成と、空間位置イメージを示すものである。図３（ｅ）において８−１，８−２は遅延素子、９−１〜９−３は乗算器である。このフィルタの伝達関数Ｈ（ｚ）は数３で示される。
（数３）  Ｈ（ｚ）＝ｋ0＋ｋ1ｚ-1＋ｋ2ｚ-2
ここで、ｚ-1は遅延素子1個分の遅延を表す。この場合の出力画素の空間位置、いわばフィルタの重心が、図３（ｂ）に示すようにｓ２と同じ位置となるように乗算器係数ｋ0〜ｋ2を決定するには、モーメントの考えを用いる。つまり、「ある点の前後で各入力画素までの距離と乗算器係数の積の和が等しくなれば、その点がフィルタの重心である」と考えることができる。出力信号の空間位置が図３（ｂ）の状態である場合、数４が成立することが必要である。
（数４）  １・ｋ0＝１・ｋ2
数４より、ｋ0＝ｋ2であれば、フィルタの重心はｓ２と同じ空間位置となる。この状態のことを「画素と同じ空間位置に重心をもつ」と表現する。
【００１８】
同様に図３（ｃ）の構成のフィルタを考えると、伝達関数Ｈ（ｚ）は数５で示される。
（数５）  Ｈ（ｚ）＝ｋ0＋ｋ1ｚ-1＋ｋ2ｚ-2＋ｋ3ｚ-3
ここで、ｚ-1は遅延素子1個分の遅延を表す。この場合のフィルタの重心を図３（ｄ）に示すように、ｓ２とｓ３から等距離の点とするには、同様にモーメントの考えを用いると数６が成立する。
（数６）  ３・ｋ0＋１・ｋ1＝１・ｋ2＋３・ｋ3
数６を満足するｋ0〜ｋ3であれば、出力信号の空間位置を図３（ｄ）の状態にできる。この状態のことを「１／２画素ずれた空間位置に重心をもつ」と表現する。以下では、水平垂直両方向に対して上記表現を用いる。
【００１９】
以上のように帯域分割手段２−１では、画素と同じ空間位置に重心をもつ低周波数成分と高周波数成分、１／２画素ずれた空間位置に重心を持つ低周波数成分と高周波数成分の計４成分を同時に求める。この結果、帯域分割手段２−１からは垂直および水平方向に２倍オーバーサンプリングされた出力が得られる。
【００２０】
１／２画素ずれた空間位置に重心を持つ成分を求めるということは、１／２画素ずれた空間位置の値を補間するということと同じである。従って、１／２画素ずれた空間位置に重心を持つ高周波数成分は、高周波数成分の補間出力ということになる。ここで、高周波数成分を抜き出すＨＰＦの周波数特性が図２（ａ）に示すようなものであれば、高周波数成分はｆｓ／４〜３ｆｓ／４の領域において特性劣化の少ない補間ができることになるので、高域特性劣化の少ない補間処理が可能になる。
【００２１】
図４に帯域分割手段２−１の構成例を示す。垂直ＬＰＦ１１、垂直ＨＰＦ１２は垂直方向に帯域分割を行う。ここでは前述のように、画素と同じ垂直空間位置に重心をもつ成分と、垂直に１／２画素ずれた空間位置に重心を持つ成分を同時に求める。いま、入力信号がＧ信号であるとすると、垂直ＬＰＦ１１では画素と同じ垂直空間位置に重心を持つ低周波数成分Ｇ１Ｌと、垂直に１／２画素ずれた空間位置に重心を持つ低周波数成分Ｇ２Ｌを求め、２系統の出力を行う。同様に垂直ＨＰＦ１２では画素と同じ垂直空間位置に重心を持つ高周波数成分Ｇ１Ｈと、垂直に１／２画素ずれた空間位置に重心を持つ高周波数成分Ｇ２Ｈを求め、２系統の出力を行う。
【００２２】
垂直ＬＰＦ１１の一方の出力Ｇ１Ｌは、水平ＬＰＦ１３−１、水平ＨＰＦ１４−１に入力され、水平方向に帯域分割を行う。水平ＬＰＦ１３−１では、画素と同じ水平空間位置に重心を持つ低周波数成分と、水平に１／２画素ずれた空間位置に重心を持つ低周波数成分を求め、２倍のクロック周波数で時間軸多重し、Ｇ１ＬＬとして出力する。同様に水平ＨＰＦ１４−１では、画素と同じ水平空間位置に重心を持つ高周波数成分と、水平に１／２画素ずれた空間位置に重心を持つ高周波数成分を求め、２倍の周波数のクロックで時間軸多重し、Ｇ１ＬＨとして出力する。
【００２３】
同様に垂直ＬＰＦ１１の他方の出力Ｇ２Ｌも、水平ＬＰＦ１３−２、水平ＨＰＦ１４−２に入力され、水平方向に帯域分割を行い、Ｇ2ＬＬ、Ｇ2ＬHとして出力する。
【００２４】
同様に垂直ＨＰＦ１２の一方の出力Ｇ１Ｈも、水平ＬＰＦ１３−３、水平ＨＰＦ１４−３に入力され、水平方向に帯域分割を行い、Ｇ１HＬ、Ｇ１ＨＨとして出力する。Ｇ１HＬ、Ｇ１ＨＨは加算器１５−１で加算される
同様に垂直ＨＰＦ１２の他方の出力Ｇ２Ｈも、水平ＬＰＦ１３−４、水平ＨＰＦ１４−４に入力され、水平方向に帯域分割を行い、Ｇ２HＬ、Ｇ２ＨＨとして出力する。Ｇ２HＬ、Ｇ２ＨＨは加算器１５−２で加算される。
【００２５】
水平ＨＰＦ１４−１のＧ１ＬＨ出力と加算器１５−１の出力とは加算器１５−３で加算され、画素と同じ垂直空間位置に重心を持つ２次元高周波数成分Ｇ１Ｈ’として出力される。
【００２６】
同様に水平ＨＰＦ１４−２のＧ２ＬＨ出力と加算器１５−２の出力とは加算器１５−４で加算され、垂直に１／２画素ずれた空間位置に重心を持つ２次元高周波数成分Ｇ２Ｈ’として出力される。
【００２７】
以上のようにして、帯域分割手段２−１はＧ信号を、画素と同じ垂直空間位置および垂直に１／２画素ずれた空間位置に重心を持つ２次元周波数成分に分割して出力する。
【００２８】
ここで図１に戻って説明する。同様に帯域分割手段２−２は、Ｒ用ＣＣＤ１−２から出力されるＲ信号を、画素と同じ垂直空間位置に重心を持つ２次元低周波数成分Ｒ２ＬＬおよび２次元高周波数成分Ｒ２Ｈ’、垂直に１／２画素ずれた空間位置に重心を持つ２次元低周波数成分Ｒ１ＬＬおよび２次元高周波数成分Ｒ１Ｈ’に分割して出力する。ここで注意が必要なのは、Ｒの場合はＲ用ＣＣＤ画素と同じ垂直空間位置に重心を持つ周波数成分をＲ２ＬＬおよびＲ２Ｈ’と表現している点である。これは、添え字１がＧ用ＣＣＤの画素の空間位置に、添え字２がＲＢ用ＣＣＤの画素の空間位置に重心を持つことを意味するように統一するためである。
【００２９】
同様に帯域分割手段２−３は、Ｂ用ＣＣＤ１−３から出力されるＢ信号を、画素と同じ垂直空間位置に重心を持つ２次元低周波数成分Ｂ２ＬＬおよび垂直に１／２画素ずれた空間位置に重心を持つ２次元低周波数成分Ｂ１ＬＬに分割して出力する。Ｂ信号に対して2次元低周波数成分しか求めないのは、後述のように輝度信号Ｙの高周波数成分をＧとＲのみから求めるためである。
【００３０】
帯域分割手段２−１のＧ１ＬＬ出力は第１のＹマトリクス３−１およびＣマトリクス４に、Ｇ２ＬＬ出力は第２のＹマトリクス３−２に、それぞれ入力される。また、Ｇ１Ｈ’およびＧ２Ｈ’出力は、加算器６−１および６−２にそれぞれ入力される。
【００３１】
同様に帯域分割手段２−２のＲ１ＬＬ出力は第１のＹマトリクス３−１およびＣマトリクス４に、Ｒ２ＬＬ出力は第２のＹマトリクス３−２に、それぞれ入力される。また、Ｒ１Ｈ’およびＲ２Ｈ’出力は、加算器６−１および６−２にそれぞれ入力される。
同様に帯域分割手段２−３のＢ１ＬＬ出力は、第１のＹマトリクス３−１およびＣマトリクス４に、Ｂ２ＬＬ出力は第２のＹマトリクス３−２にそれぞれ入力される。
【００３２】
第１のＹマトリクス３−１では数１に基づき、Ｇの画素と同じ垂直空間位置に存在するＧ信号およびＲ信号の２次元高周波数成分Ｇ１ＬＬおよびＲ１ＬＬから、輝度信号の２次元低周波数成分Ｙ１ＬＬを作成する。この様子を周波数領域で示したものが図２（ｂ）である。Ｇ１ＬＬの実信号の周波数成分は図２（ｂ）にＧとして実線で、折り返し成分はＧ’として破線で示される。同様にＲ１ＬＬ、Ｂ１ＬＬの実信号はＲＢとして実線で、折り返し成分はＲＢ’として一点鎖線で示される。数２に示したように、Ｇの折り返し成分Ｇ’とＲＢの折り返し成分ＲＢ’は位相が反転しているので大部分がキャンセルされる。
【００３３】
加算器６−１および除算手段２５−１では、Ｇの画素と同じ垂直方向の空間位置に存在するＧ信号およびＲ信号の２次元高周波数成分Ｇ１Ｈ’とＲ１Ｈ’を加算平均し、輝度信号の２次元高周波数成分Ｙ１Ｈ’を作成する。ここで、Ｇ信号とＲ信号のみから輝度信号の２次元高周波数成分を求める理由は、Ｂ信号が視覚的に解像度にほとんど寄与しないためである。周波数領域でのこの様子を図２（ｃ）に示す。Ｇ１Ｈ’の実信号の周波数成分は図２（ｂ）にＧとして実線で、折り返し成分はＧ’として破線で示される。同様にＲ１Ｈ’の実信号はＲとして実線で、折り返し成分はＲ’として一点鎖線で示される。加算器６−１では、Ｇ１Ｈ’とＲ１Ｈ’は等しい比率で加算する。Ｇ１Ｈ’の折り返し成分Ｇ’とＲ１Ｈ’の折り返し成分Ｒ’は位相が反転しているので、数７に示すように、ＧとＲのレベルが等しい無彩色部での折り返し成分は完全にキャンセルされる。
（数７）  Ｙ１Ｈ'＝０.５０Ｒ１Ｈ'＋０.５０Ｇ１Ｈ'＝（−０.５０＋０.５０）Ｇ１Ｈ'＝０
第１のＹマトリクス３−１の出力Ｙ１ＬＬと除算手段２５−１の出力Ｙ１Ｈ’は加算器７−１で加算され、広帯域輝度信号Ｙ１が得られる。周波数領域でのこの様子を図２（ｄ）に示す。図２（ｄ）にはｆｓ近辺のＹ１ＬＬ成分は表示していない。これは、Ｙ１ＬＬ成分が数２に示すように無彩色部の折り返し成分のキャンセルが不完全なため、ｆｓ近辺では折り返し成分が多く残ってしまうので別途ＬＰＦなどを設けてｆｓ近辺の成分を落とし、図２（ｄ）のようにすることが本来必要なためである。
【００３４】
しかし、空間画素ずらし法を用いる場合は、ｆｓでゼロ点を持つ光学ＬＰＦをＣＣＤの前に配置するのが一般的であり、この場合はｆｓ近辺の成分はＣＣＤ出力段においてほぼ消失しており、実質図２（ｄ）のような状態になっているため、別途のＬＰＦは必須というものではない。
【００３５】
除算手段２５−１の出力Ｙ１Ｈ’は、第１のディテール作成部５−１にも入力される。第１のディテール作成部５−１では、Ｙ１Ｈ’に含まれる高周波数成分からディテール強調信号Ｙ１ＤＴを作成して出力する。
【００３６】
図５にディテール作成部５の構成例を示す。垂直ＨＰＦ１９および水平ＨＰＦ２０は、入力信号から垂直および水平方向の高周波数成分を抽出する。水平ＬＰＦ２１は、垂直ＨＰＦ１９の出力のうち、水平方向にも高い周波数成分を持つもの、つまり斜め方向の高周波数成分を除去する。乗算器２２−１および２２−１は、水平ＬＰＦ２１および水平ＨＰＦ２０の出力に対して適当なゲインを乗算する。コアリング回路２３−１および２３−２は図６のような入出力特性を持ち、乗算器２２−１および２２−２の出力のうち、振幅の小さい部分をノイズと見なして除去する。加算器２４はコアリング回路２３−１の出力である垂直方向高周波数成分と、コアリング回路２３−２の出力である水平および斜め方向高周波数成分を加算し、２次元ディテール強調信号として出力する。
【００３７】
第１のディテール作成部５−１の出力と加算器７−１の出力は加算器７−２で加算され、ディテール強調された広帯域輝度信号Ｙ１’として出力される。
第２のＹマトリクス３−２でも同様に、Ｒの画素と同じ垂直空間位置に存在するＧ信号およびＲ信号の２次元低周波数成分Ｇ２ＬＬおよびＲ２ＬＬから、輝度信号の２次元低周波数成分Ｙ２ＬＬを作成する。また、加算器６−２および除算手段２５−２でも同様に、Ｒの画素と同じ垂直空間位置に存在するＧ信号およびＲ信号の２次元高周波数成分Ｇ２Ｈ’とＲ２Ｈ’の加算平均を求め、輝度信号の２次元高周波数成分Ｙ２Ｈ’を作成する。第２のＹマトリクス３−２の出力Ｙ２ＬＬと除算手段２５−２の出力Ｙ２Ｈ’は加算器７−３で加算され、広帯域輝度信号Ｙ２が得られる。除算手段２５−２の出力Ｙ２Ｈ’は、第２のディテール作成部５−２にも入力され、Ｙ２Ｈ’に含まれる高周波数成分からディテール強調信号Ｙ２ＤＴを作成して出力する。第２のディテール作成部５−２の出力と加算器７−３の出力は加算器７−４で加算され、ディテール強調された広帯域輝度信号Ｙ２’として出力される。上記Ｙ２’の作成過程はＹ１’と全く同様であるため、説明を省略する。
【００３８】
Ｃマトリクス４では、Ｇ１ＬＬ、Ｒ１ＬＬ、Ｂ１ＬＬより数８に基づいて色差信号Ｒ−ＹおよびＢ−Ｙを作成し、１画素ごとに時分割多重して出力する。
（数８）  Ｒ−Ｙ＝０.７０Ｒ−０.５９Ｇ−０.１１Ｂ＝０.７０（Ｒ−Ｇ）−０.１１（Ｂ−Ｇ）
Ｂ―Ｙ＝−０.３０Ｒ−０.５９Ｇ＋０.８９Ｂ＝−０.３０（Ｒ−Ｇ）＋０.８９（Ｂ−Ｇ）
このように、本実施の形態１では、第１の撮像素子を、第２および第３の撮像素子に対して水平および垂直方向に１／２画素間隔ずらして配置した撮像装置において、前記第１の撮像素子の出力を第１〜第４の周波数成分に分解して出力する第１の周波数分割手段と、前記第２の撮像素子の出力を第１〜第４の周波数成分に分解して出力する第２の周波数分割手段と、前記第３の撮像素子の出力を第１〜第４の周波数成分に分解して出力する第３の周波数分割手段と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第１の周波数成分に対してマトリクス演算を行う第１のマトリクス回路と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第２の周波数成分に対してマトリクス演算を行う第２のマトリクス回路と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第３の周波数成分の加重平均を求める第１の加重平均手段と、前記第１〜第３の周波数分割手段からそれぞれ出力される、第４の周波数成分の加重平均を求める第２の加重平均手段と、前記第１の加重平均手段の出力からディテール信号を作成する第１のディテール信号作成部と、前記第２の加重平均手段の出力からディテール信号を作成する第２のディテール信号作成部と、前記第１のマトリクス回路の出力と第１の加重平均手段の出力とを加算する第１の加算手段と、前記第２のマトリクス回路の出力と第２の加重平均手段の出力とを加算する第２の加算手段と、前記第１のディテール信号作成部の出力と前記第１の加算手段の出力とを加算する第３の加算手段と、前記第２のディテール信号作成部の出力と前記第２の加算手段の出力とを加算する第４の加算手段と、を備えた構成としたから、周波数特性の優れた補間を実現でき、空間画素ずらし配置されたＣＣＤからの出力信号を用いて高域レスポンスの優れた輝度信号を作成することを可能とできる。
【００３９】
（実施の形態２）
次に、請求項２の発明に対応する実施の形態２による撮像装置について説明する。
上記実施の形態１による撮像装置では、帯域分割手段２−１〜２−３において、一旦水平・垂直方向に帯域をそれぞれ２分割し、高周波数成分同士を加算して２次元低周波数成分と２次元高周波数成分にしているが、これは回路規模の点からはあまり望ましくない。また、ディテール信号を２次元高周波数成分のみから作成する構成であるため、低周波数信号のエッジが強調されず、解像感の無い映像になる可能性がある。本発明の実施の形態２による撮像装置は、これらの点を改善するものである。
【００４０】
図７は、本実施の形態による撮像装置を示すものである。Ｇ用ＣＣＤ１−１から出力されたＧ信号は画素補間部１６−１に入力される。画素補間部１６−１では、２次元画素補間演算が施され、Ｇ用ＣＣＤの画素と垂直空間位置が同じである画素Ｇ１、垂直方向に１／２画素ずれた空間位置の画素Ｇ２、Ｇ１の２次元低周波数成分Ｇ１ＬＬを求めて出力する。Ｇ１、Ｇ２、Ｇ１ＬＬは水平方向にも補間されており、入力されるＧの画素と水平空間位置が同じである画素Ｇａ、水平方向に１／２画素ずれた空間位置の画素Ｇｂとが時分割多重されている。以下、画素補間部１６について詳細に説明する。
【００４１】
画素補間部１６の構成例を図８に示す。ここでもＧ信号を例に説明する。Ｇ信号は垂直補間部１７に入力される。垂直補間部１７では、Ｇの画素と垂直方向空間位置が同じである画素Ｇ１と、垂直に１／２画素ずれた空間位置の画素Ｇ２を求める。以下ではまずＧ２の求め方について説明する。Ｇ２は仮想的な垂直方向ＬＰＦおよびＨＰＦにより２つの周波数成分に一旦分割後、２成分を加算したものである。仮想的な垂直方向ＬＰＦおよびＨＰＦの伝達関数Ｈ（ｚ）LPFおよびＨ（ｚ）HPFを数９および数１０のように考える。
（数９）  Ｈ（ｚ）LPF＝ａ0＋ａ1ｚ-1＋ａ2ｚ-2＋ａ3ｚ-3
（数１０）  Ｈ（ｚ）HPF＝ｂ0＋ｂ1ｚ-1＋ｂ2ｚ-2＋ｂ3ｚ-3
ここで、ａ0〜ａ3、ｂ0〜ｂ3は実係数、ｚ-1は垂直方向１画素分の遅延を示す。また、これらの仮想的な垂直方向ＬＰＦおよびＨＰＦの周波数特性は、図２（ａ）に示すようなものであるとする。
【００４２】
これらのフィルタ構成と処理イメージは図３（ｃ）および（ｄ）において、遅延素子８の遅延量が垂直方向１画素分であるものとなる。これらのフィルタの重心が図３（ｄ）におけるｓ２とｓ３から等距離の空間位置に存在するならば、重心の周りのモーメント（乗算器９−１〜９−４の乗算係数ｋ０〜ｋ３と重心からｓ４〜ｓ１までの距離の積和）は重心の前後で等しい。つまり図３（ｃ）および（ｄ）において、
（数１１）  ３ｋ０＋ｋ１＝ｋ２＋３ｋ３
が成立すると考えられるので、ａ0〜ａ3、ｂ0〜ｂ3には数１２の関係が成立する。
（数１２）  ３ａ0＋ａ1＝ａ2＋３ａ3
３ｂ0＋ｂ1＝ｂ2＋３ｂ3
数７および数８の伝達関数で表される２つのフィルタを用いて２つの周波数成分に分離し、再度加算することと、数１３に示す伝達関数をもつフィルタを通すこととは等価であるため、Ｇ２は数１３の伝達関数を持つフィルタにより求める。
【００４３】
（数１３）  Ｈ（ｚ）LPF＋Ｈ（ｚ）HPF＝(ａ0＋ｂ0)＋(ａ1＋ｂ1)ｚ-1＋(ａ2＋ｂ2)ｚ-2＋(ａ3＋ｂ3)ｚ-3
数１２の２式を辺々加算すれば、数１４のようになり、数１３の伝達関数をもつフィルタの重心もｓ２とｓ３から等距離の空間位置に存在することになる。
【００４４】
（数１４）  ３(ａ0＋ｂ0)＋(ａ1＋ｂ1)＝(ａ2＋ｂ2)＋３(ａ3＋ｂ3)
つまり、Ｇ２は数１３の演算により垂直に１／２画素ずれた空間位置に補間されることになる。また、数１３の伝達関数で表されるフィルタの周波数特性は、数９と数１０の周波数特性を合成したものになるので、高周波数領域で劣化の無いほぼフラットな特性が得られると考えられる。従って、数１３の演算によって補間を行えば、高周波数領域での周波数特性劣化のない補間が可能になる。数１２の関係を満足するａ0〜ａ3、ｂ0〜ｂ3の具体的な数値例としては数１５に示すものがある。
（数１５）  ａ0＝0.047、ａ1＝0.453、ａ2＝0.453、ａ3＝0.047
ｂ0＝−0.25、ｂ1＝0.5、ｂ2＝−0.25、ｂ3＝0
Ｇ１に関しても、Ｇ２と同様にして求めることができる。ただし、Ｇ１の場合は補間の必要が特に無いため、フィルタ処理を施さずに遅延だけを与えるようにしても良い。
【００４５】
垂直補間部１７の出力Ｇ１およびＧ２は、それぞれ水平補間部１８−１、１８−２に入力される。水平補間部１８−１および１８−２では、垂直補間部と同様にしてＧの画素と水平方向空間位置が同じである画素Ｇａと、水平に１／２画素ずれた空間位置の画素Ｇｂを求め、２倍の周波数のクロックで時分割多重し、Ｇ１およびＧ２として出力する。補間の考え方は、垂直補間部での説明を水平方向に同様に適用するだけのため、説明を省略する。
【００４６】
画素補間部への入力信号は垂直ＬＰＦ１１にも入力される。垂直ＬＰＦ１１ではＧの画素と同じ垂直空間位置に重心を持つ低周波数成分Ｇ１Ｌを求めて出力する。垂直ＬＰＦ１１の出力Ｇ１Ｌは水平ＬＰＦ１４に入力される。水平ＬＰＦ１４では、垂直ＬＰＦと同様にしてＧの画素と同じ水平方向空間位置に重心を持つ成分Ｇａと、水平に１／２画素ずれた空間位置に重心を持つ成分Ｇｂを求め、２倍の周波数のクロックで時分割多重し、２次元低周波数成分Ｇ１ＬＬとして出力する。
【００４７】
図７に戻って説明する。画素補間部１６−１から出力されたＧ１、Ｇ２、Ｇ１ＬＬは、第１のＹマトリクス３−１、第２のＹマトリクス３−２、Ｃマトリクス４にそれぞれ入力される。出力Ｇ１およびＧ２は加算器６−１および６−２にも入力される。
【００４８】
Ｒ用ＣＣＤ１−２の出力信号は画素補間部１６−２に入力される。画素補間部１６−２では、画素補間部１６−１と同様にＲの画素と同じ垂直方向空間位置の画素Ｒ２、垂直方向に１／２画素ずれた空間位置の画素Ｒ１、および垂直方向に１／２画素ずれた空間位置に重心を持つ２次元低周波数成分Ｒ１ＬＬを求めて出力する。画素補間部１６−２から出力されたＲ１、Ｒ２、Ｒ１ＬＬは、第１のＹマトリクス３−１、第２のＹマトリクス３−２、Ｃマトリクス４にそれぞれ入力される。出力Ｒ１およびＲ２は加算器６−１および６−２にも入力される。
【００４９】
Ｂ用ＣＣＤ１−３の出力信号は画素補間部１６−３に入力される。画素補間部１６−３では、画素補間部１６−２と同様にＢの画素と同じ垂直方向空間位置の画素Ｂ２、垂直方向に１／２画素ずれた空間位置の画素Ｂ１、および垂直方向に１／２画素ずれた空間位置に重心を持つ２次元低周波数成分Ｂ１ＬＬを求めて出力する。画素補間部１６−３から出力されたＢ１、Ｂ２、Ｂ１ＬＬは、第１のＹマトリクス３−１、第２のＹマトリクス３−２、Ｃマトリクス４にそれぞれ入力される。
【００５０】
第１のＹマトリクス３−１では数１に基づいてＧの画素と同じ垂直方向空間位置の輝度信号Ｙ１を求める。第２のＹマトリクス３−２でも数１に基づいてＧの画素と垂直方向に１／２画素ずれた空間位置の輝度信号Ｙ２を求める。Ｃマトリクス４では、数６に基づいてＧの画素と同じ垂直方向空間位置の色差信号Ｒ−ＹおよびＢ−Ｙを求め、２倍のクロックで時分割多重して出力する。第１のＹマトリクス３−１、第２のＹマトリクス３−２、Ｃマトリクス４での処理は実施の形態１の場合と全く同様であるため、詳細な説明は省略する。
【００５１】
加算器６−１および除算手段２５−１では数２に基づいてＧの画素と同じ垂直方向空間位置の擬似輝度信号Ｙ１Ｈを求める。加算器６−２および除算手段２５−２でも数２に基づいてＧの画素と垂直方向に１／２画素ずれた空間位置の擬似輝度信号Ｙ２Ｈを求める。加算器６−１および除算手段２５−１、加算器６−２および除算手段２５−２での処理も、実施の形態１の場合と全く同様であるため、詳細な説明は省略する。除算手段２５−１および２５−２の出力Ｙ１ＨおよびＹ２Ｈは、第１のディテール作成部５−１および第２のディテール作成部５−２に入力される。第１のディテール作成部５−１および第２のディテール作成部５−２では、入力されたＹ１ＨおよびＹ２Ｈから２次元高周波数成分を抽出し、ディテール強調信号を作成する。第１のディテール作成部５−１および第２のディテール作成部５−２での処理も、実施の形態１の場合と全く同様であるため、詳細な説明は省略する。
【００５２】
第１のＹマトリクス３−１の出力Ｙ１および第１のディテール作成部５−１の出力Ｙ１ＤＴは加算器７−２で加算され、ディテール強調された輝度信号Ｙ１’として出力される。第２のＹマトリクス３−２の出力Ｙ２および第２のディテール作成部５−２およびＹ２ＤＴも、加算器７−４で加算され、ディテール強調された輝度信号Ｙ２’として出力される。
【００５３】
以上のように構成すれば、帯域分割手段の構成を簡略化できるため回路規模を削減でき、ディテール作成部への入力信号に低周波数成分を含めることができるので、低周波数信号のエッジも強調でき、メリハリのある映像が得られるという効果が得られる。
【００５４】
このように、本実施の形態２では、第１の撮像素子を、第２および第３の撮像素子に対して水平および垂直方向に１／２画素間隔ずらして配置した撮像装置において、前記第１の撮像素子の出力に対して２種類の相異なるフィルタ処理を施し、第１〜第２のフィルタ処理の結果を出力する第１のフィルタ手段と、前記第２の撮像素子の出力に対して２種類の相異なるフィルタ処理を施し、第１〜第２のフィルタ処理の結果を出力する第２のフィルタ手段と、前記第３の撮像素子の出力に対して２種類の相異なるフィルタ処理を施し、第１〜第２のフィルタ処理の結果を出力する第３のフィルタ手段と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第１のフィルタ処理出力に対してマトリクス演算を行う第１のマトリクス回路と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第２のフィルタ処理出力に対してマトリクス演算を行う第２のマトリクス回路と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第１のフィルタ処理出力の加重平均を求める第１の加重平均手段と、前記第１〜第３のフィルタ手段からそれぞれ出力される、第２のフィルタ処理出力の加重平均を求める第２の加重平均手段と、前記第１の加重平均手段の出力からディテール信号を作成する第１のディテール信号作成部と、前記第２の加重平均手段の出力からディテール信号を作成する第２のディテール信号作成部と、前記第１のマトリクス回路の出力と前記第１のディテール信号作成部の出力とを加算する第１の加算手段と、前記第２のマトリクス回路の出力と前記第２のディテール信号作成部の出力とを加算する第２の加算手段と、を備えた構成としたから、よりコンパクトな回路規模で、周波数特性の優れた補間を実現でき、空間画素ずらし配置されたＣＣＤからの出力信号を用いて高域レスポンスの優れた輝度信号を作成することを可能とできる。
【００５５】
なお、上記実施の形態の説明では、２次元帯域分割および画素補間におけるフィルタとして４タップフィルタを例にとって説明したがこの限りではなく、フィルタの重心位置が上記説明と同様となるものであれば良い。
また、輝度信号の高周波数成分あるいはディテール信号をＧとＲのみから作成するとして説明したが、無彩色部におけるＧと（Ｒ＋Ｂ）の信号レベルが１：１となる条件が成立する範囲内でＢを用いて作成しても良い。
【００５６】
【発明の効果】
以上のように本発明は、入力信号を２つの周波数成分に分割し、成分毎あるいは２つの成分を合成後に、入力画素と水平または垂直方向に１／２画素ずれた空間位置に存在する画素を求めることにより、周波数特性の優れた補間を実現でき、空間画素ずらし配置されたＣＣＤからの出力信号を用いて高域レスポンスの優れた輝度信号を作成することを可能とできる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１による撮像装置を示すブロック図
【図２】実施の形態１の撮像装置の動作を説明するための周波数特性図
【図３】実施の形態１のデジタルフィルタの動作を説明するためのブロック図および模式図
【図４】実施の形態１の帯域分割手段の構成例を示すブロック図
【図５】実施の形態１のディテール作成部の構成例を示すブロック図
【図６】実施の形態１のコアリング回路の入出力特性図
【図７】本発明の実施の形態２による撮像装置を示すブロック図
【図８】実施の形態２の画素補間部の構成例を示すブロック図
【図９】従来の撮像装置での処理を説明するための周波数特性図
【符号の説明】
１  ＣＣＤ撮像素子
２  帯域分割手段
３  Ｙマトリクス
５  ディテール作成部
６  加算器（加重平均手段）
７  加算器
１６  画素補間部（フィルタ手段）
【図１】
0004036318.tif 000002
【図２】
0004036318.tif 000003
【図３】
0004036318.tif 000004
【図４】
0004036318.tif 000005
【図５】
0004036318.tif 000006
【図６】
0004036318.tif 000007
【図７】
0004036318.tif 000008
【図８】
0004036318.tif 000009
【図９】
0004036318.tif 000010