(57)【特許請求の範囲】
【請求項１】
複数の固体撮像素子から得られる複数の撮像信号に対して第１のサンプリング周波数でＡ／Ｄ変換後、上記第１のサンプリング周波数を２倍にした第２のサンプリング周波数でアップコンバートしたのち、非線形処理の前段階で上記第２のサンプリング周波数の１／３に選定された第３の周波数を阻止周波数とするディジタルローパスフィルタに通して帯域制限することによって、
上記第１のサンプリング周波数の１／２以下の周波数に折り返る折り返し成分を除去するようにしたことを特徴とするディジタルビデオカメラ装置。
【請求項２】
上記固体撮像素子としてＣＣＤイメージセンサが使用され、第１のＣＣＤイメージセンサはＧ信号用として使用され、第２のＣＣＤイメージセンサはＲ信号用として使用され、第３のＣＣＤイメージセンサはＢ信号用として使用されたことを特徴とする請求項１記載のディジタルビデオカメラ装置。
【請求項３】
上記第１のＣＣＤイメージセンサに対し、第２および第３のＣＣＤイメージセンサはその水平画素ピッチに対し半ピッチだけ水平方向に相対的にずらした状態で、それぞれのＣＣＤイメージセンサから撮像信号が読み出されるようになされたことを特徴とする請求項２記載のディジタルビデオカメラ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばアナログ撮像信号をディジタル処理して必要な映像信号を生成するようにしたディジタルビデオカメラ装置に関する。詳しくは、ディジタル化したディジタル撮像信号のうち所定周波数以上を阻止したものに対して非線形処理を施すことによって、撮像信号の高調波が撮像信号帯域中に折り返えさないようにして画質を改善したものである。
【０００２】
【従来の技術】
一般に、カラービデオカメラ装置やビデオテープレコーダなどで取り扱う映像信号、例えばディジタル処理を主体としたカラービデオカメラ装置においては、ＣＣＤイメージセンサなどから得られるアナログ撮像信号を一旦ディジタル化し、ディジタル化された輝度信号やクロマ信号などの撮像信号に対して、ガンマ補正、ニー補正、ホワイトブラッククリップ、輪郭補正、ホワイトバランス調整、色相調整、ディテールクリスプニング、レベルディペンドなどの各種非線形信号処理を施している。
【０００３】
ところで、ディジタル撮像信号に対して上述したような非線形処理を施すと、出力波形が歪むから、撮像信号に含まれる周波数成分の整数倍の成分が発生する。そしてディジタル処理する場合には、サンプリング定理により、サンプリング周波数ｆｓの半分の周波数ｆｓ／２までの信号しか再現できない。
【０００４】
そして非線形処理で発生したｆｓ／２を越える周波数成分は、ｆｓ／２を中心にして折り返り、０〜ｆｓ／２のどこかの周波数成分に置き代わってしまう。どのように折り返すかというと、信号周波数ｆとサンプリング周波数ｆｓとの関係が、
0003928185.tif 000002
となる。撮像信号の基本波成分側に折り返されたこの成分は偽信号（エリアシング）となり、再生画質を劣化させる原因となる。そこで基本波成分側に折り返さないように最近ではサンプリング周波数のアップコンバート処理を行うようにしている。
【０００５】
図１０はこのようなアップコンバート処理を行って所定の映像信号を得るようにしたディジタルビデオカメラ装置１０の従来例を示す。
【０００６】
同図において、被写体像１２はＣＣＤイメージセンサ２０でＲ（赤），Ｇ（緑），Ｂ（青）の３つの撮像信号（原色信号）に変換される。イメージセンサ２０からは、例えば図１１Ａに示すような周波数ｆの成分を有する撮像信号が出力され、この周波数ｆの撮像信号がアナログプロセス部３０に送られる。アナログプロセス部３０でプリアンプ処理、補間処理などが行われたのち、Ａ／Ｄコンバータ４０に送られて撮像信号がディジタル変換される。
【０００７】
Ａ／Ｄコンバータ４０からの撮像信号はアップコンバータ５０によって、図１１Ａの撮像信号（周波数ｆ）が、同図ＢのようにＡ／Ｄコンバータ４０でのサンプリング周波数ｆｓよりも充分高い周波数ｆｓ′に変換（アップコンバート）される。
【０００８】
アップコンバートされた撮像信号は、画像の輪郭部を強調するためイメージエンハンサ７０に送られて輪郭強調信号が生成される。この輪郭強調信号が加算器９０でアップコンバータ５０からのディジタル撮像信号に加算される。
【０００９】
加算器９０の出力はクリップ回路９２によって特定基準電圧レベル以上或いは以下の信号をクリップした後、ニー補正回路９４、ガンマ補正回路９６において、ニー補正、ガンマ補正がそれぞれ施される。これら処理は何れも非線形処理であるので、図１１Ｂの撮像信号には同図Ｃに示すように高次の成分Ｆｈ′が発生する。
【００１０】
この場合もサンプリング周波数ｆｓ′の半分の周波数（ｆｓ′／２）を越える周波数成分に対する折り返し成分Ｆ１′は、０〜ｆｓ′／２の周波数帯域に偽信号として現れる。
【００１１】
そのため、図１０のように例えば０〜ｆｓ″／２の周波数までを通過させる例えばローパスフィルタからなる帯域制限フィルタ９８が設けられ、図１１Ｃの図中斜線で示す周波数帯域のみが通過する。したがって帯域制限フィルタ９８の出力は同図Ｄのようになる。周波数ｆｓ″は、Ａ／Ｄコンバータ４０におけるサンプリング周波数ｆｓに等しいか若しくは近い周波数である。
【００１２】
帯域制限フィルタ９８の出力は、ダウンコンバータ１００でＡ／Ｄコンバータ４０でのサンプリング周波数ｆｓに等しいか若しくは近い周波数ｆｓ″にダウンコンバートされる。ダウンコンバートすることによって、同図Ｄの周波数成分は同図Ｅのようになる。したがって周波数ｆｓ″の半分の周波数以下（０〜ｆｓ″／２）で、入力信号の周波数ｆよりも低い帯域には非線形処理によって発生する折り返し成分（偽信号）はなくなる。
【００１３】
【発明が解決しようとする課題】
しかし、この帯域制限フィルタ９８を用いたのでは、周波数ｆがｆｓ／２以上の帯域の信号が存在したときには、その高調波成分に対する折り返し成分はｆｓ／２以下に折り返されることになるから、非線形処理した後でその周波数通過特性をｆｓ／２近傍に帯域制限してもｆｓ／２以下に折り返された成分を除去することはできない。
【００１４】
例えば非線形処理系を通すと、２ｆの二次高調波成分が発生し、これの折り返し成分ｆ′は（２ｆ−２ｆｓ）となる。この折り返し成分ｆ′が信号帯域以下になる条件は次の通りである。
【００１５】
２ｆｓ−２ｆ〈ｆ    ・・・・（３）
∴ｆ〉２ｆｓ／３    ・・・・（４）
（４）式の関係は図１１Ｆのようになるから、これの折り返し成分は同図Ｇの破線図示のようになって、信号帯域以下の周波数領域（図では周波数ｆｓ／２のところ）に折り返ることが判る。
【００１６】
信号帯域以下の周波数帯域に折り返るのは、非線形処理の他に後述する画素ずらしが完全でないときに発生する折り返し成分（ｆｓ−２ｆ）などが考えられる。このような高調波の折り返し成分を抑圧するには、折り返る元の高調波自体を抑圧しなければならない。
【００１７】
そこで、この発明はこのような従来の課題を解決したものであって、主として非線形処理によって発生する信号帯域内への折り返しを効果的に除去できるディジタルビデオカメラ装置を提案するものである。
【００１８】
【課題を解決するための手段】
上述した課題を解決するため、請求項１においては複数の固体撮像素子から得られる複数の撮像信号に対して第１のサンプリング周波数でＡ／Ｄ変換後、上記第１のサンプリング周波数を２倍にした第２のサンプリング周波数でアップコンバートしたのち、非線形処理の前段階で上記第２のサンプリング周波数の１／３に選定された第３の周波数を阻止周波数とするディジタルローパスフィルタに通して帯域制限することによって、上記第１のサンプリング周波数の１／２以下の周波数に折り返る折り返し成分を除去するようにしたことを特徴とする。
【００１９】
請求項２においては、上記固体撮像素子としてＣＣＤイメージセンサが使用され、第１のＣＣＤイメージセンサはＧ信号用として使用され、第２のＣＣＤイメージセンサはＲ信号用として使用され、第３のＣＣＤイメージセンサはＢ信号用として使用されたことを特徴とする。
【００２０】
請求項３においては、上記第１のＣＣＤイメージセンサに対し、第２および第３のＣＣＤイメージセンサはその水平画素ピッチに対し水平方向に半ピッチだけ相対的にずらした状態で、それぞれのＣＣＤイメージセンサから撮像信号が読み出されるようになされたことを特徴とする。
【００２３】
撮像信号をＡ／Ｄ変換したあとのアップコンバート処理後であって、非線形処理の前の段階で帯域制限を行う。この帯域制限は第１のサンプリング周波数をｆＳとしたとき２ｆｓ／３を阻止周波数とする処理であって、２ｆｓ／３の周波数成分の通過は完全に阻止される。帯域制限後に輪郭強調処理や非線形処理が行われる。非線形処理の前段階で帯域制限を行う関係上、２ｆｓ／３以上の信号成分の高調波による折り返しは発生しない。
【００２４】
画素ずらし処理が正確でないときに発生する折り返し成分も同時に抑圧されるから、折り返しによる画質劣化が大幅に改善される。
【００２５】
【発明の実施の形態】
続いて、この発明に係るディジタルビデオカメラ装置の一実施態様を図面を参照して詳細に説明する。
【００２６】
この発明では撮像素子として３個の固体撮像素子（以下はＣＣＤイメージセンサ）が使用され、それらよりＧ，Ｒ，Ｂの各原色信号が撮像信号として得られるようになされているディジタルビデオカメラ装置を例示する。さらにこれら３個のＣＣＤイメージセンサから得られる撮像信号をディジタル化したときに、その基本波成分中に混入する折り返し成分を除去するため、画素ずらし法を採用した光学系が使用される。
【００２７】
画素ずらし法とは、図２に示すように例えばＧ信号を得るＣＣＤイメージセンサに対し、Ｒ信号およびＢ信号を得るＣＣＤイメージセンサを、水平方向に対して１／２画素ピッチｐ／２だけ相対的にずらして同一被写体像を撮像するようにしたものである。
【００２８】
こうすると、図３Ａに示すようにＧ信号のサンプリングキャリア（その周波数はｆｓ）の位相（０相）に対して、Ｒ信号およびＢ信号のサンプリングキャリアの位相が同図Ｂのように１８０°（π相）だけずれる。したがって両者をマトリックスして合成すれば、同図Ｃのようにサンプリングキャリアが相殺される結果、側波帯成分（鎖線図示）が相殺されて基本波成分のみとなる。したがって画質劣化の原因を除去できる。
【００２９】
しかし、実際には上述したようにＣＣＤイメージセンサの関係をｐ／２に完全に調整することが不可能なこと、非線形処理により基本波成分の高調波が発生すること、などに起因して基本波成分中に高調波成分が折り返されてしまう。この発明はこれらの要因による高調波成分、特にその二次成分に対する折り返し成分をできるだけ抑圧するようにしたものである。
【００３０】
図１はこの発明に係るディジタルビデオカメラ装置１０の一実施態様を示すものである。被写体像１２はＣＣＤイメージセンサ２０，２２，２４によって撮像信号（Ｒ，Ｇ，Ｂの原色信号）に変換される。そのスペクトラムを図４Ａ，Ｂに示す。撮像信号はＡ／Ｄ変換器４０，４２，４４に供給されて、第１のサンプリング周波数（ｆｓとする。ｆｓは例えば１８ＭＨｚ）によってディジタル化される。
【００３１】
ディジタル化された撮像信号はプリプロセッサ３０においてプリプロセス処理が行われる。プリプロセス処理とは、プリアンプ処理、補間処理、それに伴うフィルタ処理、シェーディング処理などを総称した信号処理を言う。プリプロセス処理を施された撮像信号はアップコンバータ５０，５６，５８においてアップコンバート処理などが行われる。アップコンバータ５０（５６，５８も同様）は図６に示すようにレートコンバータ５２とディジタルローパスフィルタ５４とで構成される。
【００３２】
レートコンバータ５２では第１のサンプリング周波数ｆｓよりも高い第２のサンプリング周波数ｆ２を使用してアップコンバートされる。アップコンバート処理は、できるだけ高調波成分による折り返し成分が基本波成分内に混入しないようにするためで、ｆ２としてこの例では２ｆｓを示す。
【００３３】
アップコンバートされた撮像信号は後段のディジタルローパスフィルタ５４によって通過帯域が制限される。上述したようにｆｓ／２以上ｆｓまでの周波数成分を有する撮像信号（周波数をｆとする）の場合、その高調波による折り返し成分は周波数ｆよりも低い帯域側に折り返る。特に非線形処理系を通すと、２ｆの二次高調波成分が発生し、これの折り返し成分ｆ′は（２ｆ−２ｆｓ）となる。この折り返し成分ｆ′が信号帯域以下になる条件は上述したように、
２ｆｓ−２ｆ〈ｆ    ・・・・（３）
∴ｆ〉２ｆｓ／３    ・・・・（４）
である。
【００３４】
信号帯域以下の周波数帯域に折り返るのは、非線形処理の他に後述する画素ずらしが完全でないときに発生する折り返し成分（ｆｓ−２ｆ）などが考えられる。
【００３５】
このような高調波の折り返し成分を抑圧するため、この発明では折り返る元の高調波自体を抑圧する。そのため、図６に示すようなディジタルローパスフィルタ５４が設けられ、図７のように撮像信号に対し、２ｆｓ／３を阻止周波数とした帯域制限を加える（図４Ｃ，Ｄ）。つまり、この発明では２ｆｓ／３のレスポンスが完全にゼロになるようにディジタルフィルタ特性が設定される。このフィルタ特性については後述する。帯域制限された撮像信号は次段の色補正回路６０で画像全体に対する色補正処理が行われる。
【００３６】
プリプロセッサ３０でプリプロセス処理を施された撮像信号はさらに画像の輪郭部を強調するためイメージエンハンサ７０に送られて輪郭強調信号が生成される。本例では撮像信号のうちＧ信号とＲ信号が使用され、これらから低域側（２ｆｓ／３以下の帯域）と高域側（２ｆｓ／３以上の帯域）に分けた輪郭強調信号がそれぞれ生成される。
【００３７】
図８はこのイメージエンハンサ７０の具体例を示すものであり、Ｇ信号ＳｇとＲ信号Ｓｒがミキサ７２において、２ｆｓのスイッチングパルスを使用してミックスされる。ミックスされた合成信号Ｓｇｒのスペクトルを図４Ｅに示す。信号を合成することによって側波帯成分は相殺される。
【００３８】
合成信号Ｓｇｒはアパーチャー強調回路７４に供給されて図９曲線ＦＡで示すような高域補強特性となされた高域補強信号（アパーチャー補強信号）Ｓａが生成される（図４Ｆ）。そのゲインは後段の乗算器７６に与えられる係数Ｋａによって調整される。したがって端子７６ａにはゲイン調整された高域補強信号Ｓａが得られる。
【００３９】
合成信号Ｓｇｒはさらに低域側の補強を行うべく、本例では低域側をさらに３つの帯域に分けた周波数領域に対する補強信号が生成される。本例では第１のローパスフィルタ（ディジタルローパスフィルタ）７８で図９曲線ＦＨで示すように、比較的高域側（例えば７ＭＨｚ近傍）のゲインがアップするようなフィルタ特性が付与される（図４Ｇ）。
【００４０】
第２のローパスフィルタ８０では曲線ＦＭで与えられるように、中域例えば５ＭＨｚ近傍のゲインがアップするようなフィルタ特性が付与される（図４Ｈ）。同様に、第３のローパスフィルタ８２によって曲線ＦＬで示されるような低域（４ＭＨｚ近傍）のゲインがアップするようなフィルタ特性が付与される（図４Ｉ）。
【００４１】
これらフィルタ出力Ｓｈ，Ｓｍ，Ｓｌが対応するゲイン調整用の乗算器８４，８６，８８にそれぞれ供給されて、所望の係数Ｋｈ，Ｋｍ，Ｋｌによるゲイン調整がなされる。図９に示すようなゲイン（一例として示す）に調整された後加算器９０で加算されて低域補強信号Ｓｃが生成される（図５Ｊ）。端子９０ａに得られるこの低域補強信号Ｓｃが色補正された撮像信号のそれぞれに加算器６２，６４，６６を使用して加算されて低域補償される（図５Ｋ，Ｌ）。
【００４２】
帯域制限を受けることによって撮像信号Ｓｇｌ，Ｓｒｌ，Ｓｂｌの周波数特性は図９曲線ＬＬで示すように特に高域側が劣化している。これに図５Ｊのような低域補強信号Ｓｃを加えることによって図９曲線ＬＬ′のようになるから、これによって帯域制限された撮像信号の高域側を効果的に補償できる。
【００４３】
低域補償された撮像信号Ｓｇｃ，Ｓｒｃ，Ｓｂｃは非線形処理回路１１０，１１２，１１４に供給されて各種の非線形処理が施される。非線形処理とは従来例で説明したように、クリップ処理を始めとして、ニー処理、ガンマ処理、ホワイトクリップ処理などを指す。
【００４４】
非線形処理後の各撮像信号に対して加算器１１６，１１８，１２０で高域補強信号Ｓａの加算処理が行われ、図９曲線ＬＨのように高域までブロードな周波数特性となされた撮像信号Ｓｇａ，Ｓｒａ，Ｓｂａが得られる（図５Ｍ，Ｎ）。
このような周波数特性の補正処理が施されたのち、各撮像信号がマトリックス回路１３０に供給されて、この例では輝度信号Ｙと一対のクロマ信号Ｃｒ，Ｃｂとが形成される。加減算などのマトリックス処理を行うことによって、特定撮像条件の下では撮像信号の基本波成分中に混入していた側波帯成分が相殺される（図５のＯ）。
【００４５】
輝度信号Ｙとクロマ信号Ｃｒ，ＣｂはＤ／Ａ変換器１３２，１３４，１３６でアップコンバートしたままの状態でアナログ信号に戻すこともできれば、レートコンバータ１４０に供給して第１のサンプリング周波数ｆｓを使用して元のサンプリングレートにダウンコンバートすることもできる。レートコンバータ１４０の出力はディジタルＶＴＲ（Ｄ１型ディジタルＶＴＲなど）を使用してディジタル撮像信号のまま記録することもできる。
【００４６】
【発明の効果】
以上のように、この発明に係るディジタルビデオカメラ装置では、撮像信号の高調波成分の折り返しによって撮像信号の周波数よりも低域側に折り返ることのある折り返し成分を効果的に除去できる。したがって折り返し成分による画質劣化を大幅に改善できる特徴を有する。
【図面の簡単な説明】
【図１】この発明に係るディジタルビデオカメラ装置の一実施態様を示す要部の系統図である。
【図２】画素ずらし法を説明するための図である。
【図３】そのときの周波数スペクトラムの図である。
【図４】ディジタル処理を説明するための波形図（１／２）である。
【図５】ディジタル処理を説明するための波形図（２／２）である。
【図６】アップコンバータの一例を示す系統図である。
【図７】ディジタルローパスフィルタの特性図である。
【図８】  イメージエンハンサの一例を示す系統図である。
【図９】イメージエンハンサのフィルタ特性図である。
【図１０】従来のディジタルビデオカメラ装置の系統図である。
【図１１】その動作説明に供する波形図である。
【符号の説明】
１０  ディジタルビデオカメラ装置
２０，２２，２４  撮像素子
４０，４２，４４  Ａ／Ｄ変換器
５０  アップコンバータ
５２  レートコンバータ
５４  ディジタルローパスフィルタ
７０  イメージエンハンサ
１１０，１１２，１１４  非線形処理回路
１４０  レートコンバータ
【図１】
0003928185.tif 000003
【図２】
0003928185.tif 000004
【図３】
0003928185.tif 000005
【図４】
0003928185.tif 000006
【図５】
0003928185.tif 000007
【図６】
0003928185.tif 000008
【図７】
0003928185.tif 000009
【図８】
0003928185.tif 000010
【図９】
0003928185.tif 000011
【図１０】
0003928185.tif 000012
【図１１】
0003928185.tif 000013