(57)【特許請求の範囲】
【請求項１】
所定の空間サンプリング周波数ｆｓで各素子が配列される固体撮像素子からの撮像信号を、ローパスフィルタを介し、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングする撮像信号処理方法であって、
上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングした後の信号から、当該空間サンプリング周波数ｆｓに対応する時間軸上での周波数ｆｓｐの１／２の周波数ｆｓｐ／２近辺の周波数帯域に相当する成分レベルを取り出し、
当該成分レベルが最高になるサンプリング位相を選定して上記再サンプリングのクロックとする
ことを特徴とする撮像信号処理方法。
【請求項２】
所定の空間サンプリング周波数ｆｓで各素子が配列される固体撮像素子からの撮像信号を、ローパスフィルタを介し、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングする撮像信号処理装置であって、
上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングした後の信号から、当該空間サンプリング周波数ｆＳに対応する時間軸上での周波数ｆｓｐの１／２の周波数ｆｓｐ／２近辺の周波数帯域に相当する成分レベルを取り出す成分レベル取り出し手段と、
当該成分レベルが最高になるサンプリング位相を選定して上記再サンプリングのクロックとする再サンプリングクロック設定手段と
を有することを特徴とする撮像信号処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、例えばハイビジョン対応型のカメラ装置や該ハイビジョン対応型のビデオカメラ装置等に設けて好適な固体撮像装置、特に、例えばいわゆる３板式の受光部に撮像光を所定分斜めにシフトしながら撮像を行う固体撮像装置からの撮像信号に対して、再サブナイキストサンプリング処理を施して出力する撮像信号処理方法及び装置に関する。
【０００２】
【従来の技術】
従来より、赤色（Ｒ）用の固体撮像素子（ＣＣＤイメージセンサ），緑色（Ｇ）用のＣＣＤイメージセンサ及び青色（Ｂ）用のＣＣＤイメージセンサからなるいわゆる３板式の固体撮像装置を有するＣＣＤカメラが知られている。
【０００３】
このＣＣＤカメラは、図１８に示すような構成を有しており、被写体からの光（撮像光）は、撮像レンズ１００及びオプティカルローパスフィルタ（ＯＰＬＰＦ）１０１を介してダイクロイックプリズム１０２に入射される。上記ダイクロイックプリズム１０２は、上記撮像レンズ１００等を介した光をＲの光成分、Ｇの光成分、Ｂの光成分の３つの光成分に分離してそれぞれ出射する。この各色の光は、それぞれ各色用ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂ上に光像として照射結像される。
【０００４】
上記各ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂは、高解像度の撮像信号を形成すべく、図１９に示すように、Ｒ用ＣＣＤイメージセンサ１０４Ｒ及びＢ用ＣＣＤイメージセンサ１０４Ｂの各素子が同じ位置の光像を受光するように設けられているのに対し、Ｇ用ＣＣＤイメージセンサ１０４Ｇは、上記Ｒ用，Ｂ用ＣＣＤイメージセンサ１０４Ｒ，１０４Ｂの各素子に対して中間の位置に対応する光像を受光するように各素子が設けられている。
【０００５】
上記各ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂは、それぞれ各色の光像を受光して光電変換を行うことにより、各色の撮像信号を形成して出力する。この各色の撮像信号は、それぞれ対応するＬＰＦ１０５〜１０７に供給される。また、上記各色の撮像信号のうち、Ｒの撮像信号及びＧの撮像信号は、ディテール形成回路１０８に供給される。
【０００６】
上記各色の撮像信号は、図２０の（ａ）に実線で示すように例えば１４ＭＨｚの周波数帯域を有しているが、同図（ａ）中左斜線で示すようにＲ，Ｂの撮像信号と同相の折り返し成分が生じている。また、上述のように、上記Ｇ用のＣＣＤイメージセンサ１０４Ｇは、上記Ｒ用，Ｂ用ＣＣＤイメージセンサ１０４Ｒ，１０４Ｂが受光する光像の中間位置に対応する光像を受光するように設けられていることから、上記Ｒ，Ｂの撮像信号と同相の折り返し成分とは逆相の図２０の（ａ）中右斜線で示すようなＧの撮像信号の折り返し成分が生じている。このとき、このような折り返し成分が生じているにも関わらず、上記１４ＭＨｚの周波数帯域をそのまま抽出すると、当該折り返し成分のために解像度が劣化してしまう。
【０００７】
このため、上記各ＬＰＦ１０５〜１０７としては、図２０の（ｂ）に示すような折り返し成分の影響が少ない帯域を抽出する特性を有するものが設けられる。上記各ＬＰＦ１０５〜１０７は、上記各色の撮像信号から上記折り返し成分の影響が少ない帯域を抽出し、これを加算器１１０〜１１１に供給する。
【０００８】
一方、上記ＬＰＦ１０５〜１０７で抽出された撮像信号は高域分が欠損したものであるため、画像の輪郭にボケを生ずる。このため、上記ディテール形成回路１０８は、上記Ｒ，Ｇの撮像信号から輪郭を強調するためのディテール信号を形成し、これをバンドパスフィルタ（ＢＰＦ）１０９に供給する。なお、このディテール信号は、上記Ｒ，Ｇの撮像信号から形成されるため、モノクロの信号となる。上記ＢＰＦ１０９は、図２０の（ｃ）に示すように各撮像信号のうち、上記ＬＰＦ１０５〜１０７でカットされた帯域から所定分の高域の撮像信号を抽出し、このディテール信号を上記各加算器１１０〜１１２に供給する。
【０００９】
上記各加算器１１０〜１１２は、上記ＬＰＦ１０５〜１０７からの撮像信号と上記ディテール信号とを加算処理することにより、図２０の（ｄ）に示すような各色用の撮像信号を形成し、これらが各出力端子１１３Ｒ，１１３Ｇ，１１３Ｂを介して後段の構成に送られる。
【００１０】
上述のように、上記Ｇ用ＣＣＤイメージセンサ１０４Ｇは、上記Ｒ用，Ｂ用ＣＣＤイメージセンサ１０４Ｒ，１０４Ｂの各素子の中間位置に対応する光像を受光するように設けられているため、水平（Ｈ）方向にみてＲ，Ｇ，Ｂの各撮像信号が揃うかたちとすることができ、高解像度化された撮像信号を形成して出力することができる。
【００１１】
ここで、上記Ｒの撮像信号及び上記Ｇの撮像信号が同レベルのとき（モノクロや黄色のとき）は、高解像度な撮像信号を形成して出力することができるが、その他の場合は、通過全帯域（直流から最大帯域＝１０ＭＨｚ等）に折り返し成分が発生する。この折り返し成分の影響は、光学系のＭＴＦ（Modulation Transfer Function）が前記図２０のように右下がりの特性であるため、７ＭＨｚの帯域付近が特に顕著となるが、数ＭＨｚ以下の低域へも折り返されるので画質を大きく劣化させる。このため、従来のＣＣＤカメラは、当該低域への折り返し成分を減少させることを目的として、上記撮像レンズ１００とダイクロイックプリズム１０２との間にＯＰＬＰＦ１０１を設け、当該折り返し成分の悪影響を軽減するようにしていた。
【００１２】
【発明が解決しようとする課題】
しかし、上述の従来のＣＣＤカメラは、上記ＯＰＬＰＦ１０１を設けて上記折り返し成分の悪影響を軽減するようにしているうえ、上記各ＬＰＦ１０５〜１０７で折り返し成分の影響を少ない帯域の撮像信号を抽出し、この撮像信号に上記モノクロのディテール信号を加算するようにしていたため、高域がカットされてその分、解像度が劣化する問題があった。具体的には、水平解像度が最大でも８００本程度の解像度しか得ることができなかった。このため、いわゆる高品位テレビジョン等には対応することができなかった。
【００１３】
本発明は、上述のような課題に鑑みてなされたものであり、折り返し成分の悪影響を軽減して高域をカットすることなく全帯域でかつ良好な撮像信号を得ることができる撮像信号処理方法及び装置の提供を目的とする。
【００１４】
【課題を解決するための手段】
本発明の撮像信号処理方法及び装置は、所定の空間サンプリング周波数ｆｓで各素子が配列される固体撮像素子からの撮像信号を、ローパスフィルタを介し、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングするものであって、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングした後の信号から、当該空間サンプリング周波数ｆｓに対応する時間軸上での周波数ｆｓｐの１／２の周波数ｆｓｐ／２近辺の周波数帯域に相当する成分レベルを取り出し、当該成分レベルが最高になるサンプリング位相を選定して上記再サンプリングのクロックとすることを特徴とする。
【００１５】
【作用】
所定の空間サンプリング周波数ｆｓで各素子が配列される固体撮像素子からの撮像信号には、この撮像信号の全周波数帯域にわたる折り返し成分が含まれている。この折り返し成分が含まれる撮像信号を、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐのサンプリングパルスで再サンプリングするとき、撮像信号の位相と再サンプリング用のクロックの位相とが合っていないと、当該再サンプリングによって最大出力を取り出すことができない。したがって、本発明によれば、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐの１／２の周波数ｆｓｐ／２の近辺の周波数帯域に相当する成分レベルが最高になるサンプリング位相を選定して再サンプリングのクロックとすることで、最大出力を取り出すようにしている。
【００１６】
【実施例】
以下、本発明の実施例について図面を参照しながら詳細に説明する。
【００１７】
本発明の撮像信号処理方法が適用される図１に示す本実施例の撮像信号処理装置は、後述する図７に示すような所定の空間サンプリング周波数ｆｓで各素子が配列される固体撮像素子（ＣＣＤ）から出力される折り返し成分（疑似信号Ｓ０ｆ）を含む撮像信号を、上記空間サンプリング周波数ｆｓに相当する時間軸上での周波数（すなわち後述する図８に示す周波数ｆｓｐ）のサンプリングパルスで再サンプリングするものであって、上記周波数ｆｓｐに対応するサンプリングパルスでサンプリングした後の信号から当該周波数ｆｓｐの１／２の周波数ｆｓｐ／２近辺の周波数帯域に相当する成分レベルを取り出す成分レベル取り出し手段としての後述する図１１のバンドパスフィルタ２１２からＡ／Ｄ変換器１１４までの構成と、当該成分レベルが最高になるサンプリング位相（信号系に対するサンプリングパルスの時間遅延差）を選定して上記再サンプリングのクロックとする再サンプリングクロック設定手段としての後述する図１１のＰＬＬ回路２０３からスイッチＳＷ１までの構成及びメモリ／比較回路２１５とを備える再サブナイキストサンプリングタイミング発生回路７を有する。
【００１８】
ここで、本実施例の撮像信号処理装置は例えばＣＣＤカメラ等に適用されるものである。このＣＣＤカメラは、図１に示すように撮像光の光路を所定の時間毎にシフトする光路シフト部１と、上記光路シフト部１からの撮像光を受光して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３原色の撮像信号を形成する撮像信号形成部２と、上記撮像信号形成部２からの各撮像信号から所定の信号成分を抽出するローパスフィルタ（ＬＰＦ）３と、再サブナイキストサンプリングタイミング発生回路７の制御に基づいて、上記ＬＰＦ３からの各撮像信号に後に説明する再サブナイキストサンプリング処理を施すＡ／Ｄ変換器４と、上記Ａ／Ｄ変換器４からの撮像信号を合成して出力する合成メモリ５と、上記合成メモリ５からの撮像信号をアナログ化して出力するＤ／Ａ変換器６とで構成されている。
【００１９】
上記光路シフト部１は、入射される撮像光のうち水平（Ｈ）方向の撮像光を透過する偏光板１０と、電圧のオン／オフにより入射される撮像光の偏光方向を回転させて出射する液晶板１１と、撮像レンズ１２と、Ｈ方向の撮像光は常光として光路をシフトせずそのまま出射し、垂直（Ｖ）方向の撮像光のみ異常光としてその光路を例えば水平方向に１画素ピッチ分且つ垂直方向に１／２画素ピッチ分シフト（斜めシフト）して出射する水晶板１３と、入射される撮像光を円偏光化して出射する位相差板１４とを、撮像光の光軸上に順に設けることにより構成されている。
【００２０】
なお、上記光路シフト部１は、上記偏光板１０，液晶板１１，水晶板１３で上記Ｖ方向の撮像光を斜めにシフトするように、該各部１０，１１，１３が位置調整されている。
【００２１】
上記撮像信号形成部２は、上記光路シフト部１を介した撮像光からＲの光成分，Ｇの光成，Ｂの光成分をそれぞれ分離して出射するダイクロイックプリズム１５と、上記ダイクロイックプリズム１５で分離された各色の撮像光（光像）を受光するＲ用固体撮像素子（ＣＣＤイメージセンサ）１７Ｒ，Ｇ用ＣＣＤイメージセンサ１７Ｇ，Ｂ用ＣＣＤイメージセンサ１７Ｂとで構成されている。
【００２２】
また、上記各ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂは、図２（ａ）に示すように、Ｒ用ＣＣＤイメージセンサ１７Ｒ及びＢ用ＣＣＤイメージセンサ１７Ｂが同じ位置の撮像光を受光するように設けられているのに対し、Ｇ用ＣＣＤイメージセンサ１７Ｇは、上記Ｒ用，Ｂ用ＣＣＤイメージセンサ１７Ｒ，１７Ｂの各素子が受光する撮像光の中間位置に対応する撮像光を受光するように設けられている。
【００２３】
上記ＬＰＦ３は、上記各ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂから得られる撮像信号の周波数帯域が例えば１４ＭＨｚであるとすると、伝送系のナイキスト周波数に対応する７ＭＨｚ丁度までの撮像信号を抽出する特性を有する理想ＬＰＦとなっている。
【００２４】
次に、このＣＣＤカメラの動作説明をする。
【００２５】
まず、撮像が開始されると、図示しないアイリスを介して撮像光が偏光板１０に照射される。上記偏光板１０は、上記撮像光のうち偏光方向がＨ方向の撮像光のみを透過する。このＨ方向の撮像光は液晶板１１に入射される。
【００２６】
上記液晶板１１は、例えば電圧がオンされたときにはＨ方向の撮像光をそのまま透過し、電圧がオフされたときには上記Ｈ方向の撮像光の偏光方向をＶ方向に変換して出射する。
【００２７】
具体的には、上記液晶板１１への電圧のオン／オフは、スイッチ１１ａのオン／オフに応じて行われるようになっており、上記スイッチ１１ａには入力端子１１ｂを介して、図示しないタイミング制御回路からの制御パルスが、例えば奇数フィールドにのみ供給されるようになっている。このため、上記液晶板１１からは、奇数フィールドではＨ方向の撮像光が出射され、偶数フィールドではＶ方向の撮像光が出射されることとなる。
【００２８】
この１フィールド毎に出射されるＨ方向の撮像光及びＶ方向の撮像光は、撮像レンズ１２を介して水晶板１３に入射される。
【００２９】
上記水晶板１３は、上記Ｈ方向の撮像光が入射されると、これを常光としてその光路をシフトせずに出射し、上記Ｖ方向の撮像光が入射されると、これを異常光としてその光路を例えば１／２画素ピッチ分シフトして出射する。
【００３０】
上述のように、上記偏光板１０，液晶板１１，水晶板１３は、上記異常光（上記水晶板１３に入射されるＶ方向の撮像光）を１／２画素ピッチ分斜めにシフトするように設けられている。このため、上記水晶板１３からは、奇数フィールドには上記水晶板１３においてシフトのされない撮像光（常光）が出射され、偶数フィールドには上記水晶板１３においてその光路が水平方向に１画素ピッチ分且つ垂直方向に１／２画素ピッチ分シフト（斜めシフト）された撮像光（異常光）が出射されることとなる。
【００３１】
この水晶板１３からの撮像光は、位相差板１４により円偏光化され、ダイクロイックプリズム１５に入射される。
【００３２】
上記ダイクロイックプリズム１５は、上記位相差板１４を介した撮像光からそれぞれＲの撮像光，Ｇの撮像光，Ｂの撮像光を分離して各色用ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂに照射する。
【００３３】
上記各色用ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂは、それぞれ上記各色の撮像光を受光してＲ用撮像信号，Ｇ用撮像信号及びＢ用撮像信号を形成して出力する。
【００３４】
上述のように、上記水晶板１３からは、１フィールドおきに、その光路が斜めシフトされた撮像光が出射される。また、上記各ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂは、Ｒ用ＣＣＤイメージセンサ１７Ｒ及びＢ用ＣＣＤイメージセンサ１７Ｂが同じ位置の撮像光を受光するように設けられているのに対し、Ｇ用ＣＣＤイメージセンサ１７Ｇは、上記Ｒ用，Ｂ用ＣＣＤイメージセンサ１７Ｒ，１７Ｂの各素子が受光する撮像光の中間位置に対応する撮像光を受光するように設けられている。
【００３５】
このため、１フレームの画像は、図２の（ａ）に示すようにＨ方向にみて各ラインの画素がＲＢ，Ｇ，ＲＢ，Ｇ・・・で形成される奇数フィールドの画像と、同図の（ｂ）に示すように上記奇数フィールドの画像のライン間を補間し、かつ、上記ＲＢ画素の下にＧ画素が位置するように、また、Ｇ画素の下にＲＢ画素が位置するように上記斜めシフトされた偶数フィールドの画像とで形成されることとなる。
【００３６】
従って、上記１フレームの画像を、図２の（ｃ）に示すように水平ライン間を補間すると共に、垂直方向にみてＲＧＢの各画素を揃えたものとすることができ（図中右斜線参照）、水平解像度及び垂直解像度の向上を図った高解像度な画像とすることができる。
【００３７】
この各色用の撮像信号は、それぞれＬＰＦ３に供給される。
【００３８】
ここで、上記各ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂから出力される撮像信号が１４ＭＨｚの周波数帯域を有するとすると、該各ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂから出力される撮像信号のうち、上記光路シフトを行わないで形成された撮像信号は、図３の（ａ）に実線で示すように０〜１４ＭＨｚの周波数帯域と、１４ＭＨｚ〜２８ＭＨｚの折り返し成分の周波数帯域とを有するスペクトル（Ｎ）となる。
【００３９】
また、上記光路シフトを行って形成された撮像信号は、上述の光路シフト処理が施されているため、その位相は上記光路シフトを行わないで形成された撮像信号の位相よりも半周期分ずれており、図３の（ａ）に点線で示すように上記光路シフトを行わないで形成された撮像信号のスペクトル（Ｎ）とは対称的なスペクトル（Ｓ）となる。
【００４０】
従って、上記光路シフトを行わない撮像信号のスペクトル（Ｎ）と、光路シフトを行った撮像信号のスペクトル（Ｓ）の合成スペクトル（ＮＳ）は、図３の（ａ）に一点鎖線で示すようなかたちのスペクトルとなる。
【００４１】
上記ＬＰＦ３は、図４に示すように全１４ＭＨｚの周波数帯域を有する上記各撮像信号から、伝送系のナイキスト周波数である７ＭＨｚ丁度までの周波数帯域を抽出する特性を有している。このため、上記ＬＰＦ３からは、図３の（ｂ）に示すように上記７ＭＨｚの周波数帯域までの、スペクトル（Ｎ），スペクトル（Ｓ）及び合成スペクトル（ＮＳ）の撮像信号が出力されることとなる。この撮像信号は、Ａ／Ｄ変換器４に供給される。
【００４２】
上記Ａ／Ｄ変換器４は、端子９を介して供給される同期信号（sync）に応じて動作する再サブナイキストサンプリングタイミング発生回路７からの１４ＭＨｚのサンプリングパルスにより、上記７ＭＨｚまでの周波数帯域の撮像信号をサンプリング（再サブナイキストサンプリング）することにより、該撮像信号をデジタル化して撮像データを形成し、これを合成メモリ５に供給する。
【００４３】
この再サブナイキストサンプリングにより、図３の（ｃ）に示すように上記７ＭＨｚの周波数帯域を有する撮像データの、上記スペクトル（Ｎ），スペクトル（Ｓ）及び合成スペクトル（ＮＳ）の折り返し成分が発生し、同図（ａ）に示した撮像信号と同じスペクトルを有する撮像データが再生される。すなわちＬＰＦ３を通しても高域が再現されている。この際、上記スペクトル（Ｎ）の撮像データは、このスペクトル（Ｎ）の撮像データに対して逆相として現れる上記スペクトル（Ｓ）の撮像データによりキャンセルされる。
【００４４】
このため、この再サブナイキストサンプリング処理を行った時点では、０ＭＨｚ〜１４ＭＨｚの周波数帯域を有する上記合成スペクトル（ＮＳ）の撮像データ、及び、１４ＭＨｚ〜２８ＭＨｚの周波数帯域を有する撮像データ、上記０ＭＨｚ〜１４ＭＨｚの周波数帯域を有する撮像データの折り返し成分の撮像データのみが残ることとなる。
【００４５】
上記光路シフトを行うことにより、信号位相がπずれることによる負の特性成分を発生する。従って、元の撮像信号と合成することにより、スペクトルの折り込みと折り返し再生を可能とすることができる。
【００４６】
上記合成メモリ５は、上記Ａ／Ｄ変換器４からの撮像データに補間処理等を施すが、その出力段には０ＭＨｚ〜１４ＭＨｚまでの周波数帯域を抽出するＬＰＦが設けられており、このＬＰＦにより図３の（ｄ）に示すように上記１４ＭＨｚ〜２８ＭＨｚの周波数帯域を有する折り返し成分の撮像データをカットし、０ＭＨｚ〜１４ＭＨｚの周波数帯域を有する合成スペクトルの撮像データのみを抽出し、これをＤ／Ａ変換器６に供給する。
【００４７】
上記Ｄ／Ａ変換器６は、上記０ＭＨｚ〜１４ＭＨｚの周波数帯域を有する各色の撮像データをアナログ化することにより各色の撮像信号を形成し、これらを後述するローパスフィルタ（ＬＰＦ）８に送る。当該ＬＰＦ８の出力は、出力端子１８Ｒ，１８Ｇ，１８Ｂを介してそれぞれ出力されると共に、上記再サブナイキストサンプリングタイミング発生回路７に送る。
【００４８】
当該再サブナイキストサンプリングタイミング発生回路７は、詳細については後述するが、上記ＬＰＦ８の出力及び前記同期信号を用いて、再サブナイキストサンプリングの際の上記サンプリングパルスを形成すると共に、当該サンプリングパルスの位相の自動選定をも行うようにしている。
【００４９】
なお、上記合成メモリ５及びＤ／Ａ変換器６も上記再サブナイキストサンプリングタイミング発生回路７からのパルスに応じて動作し、これら再サブナイキストサンプリングタイミング発生回路７とその周辺回路については後に詳述する。
【００５０】
上述のように、上記各ＣＣＤイメージセンサ１７Ｒ，１７Ｇ，１７Ｂから出力される撮像信号は、撮像光の光路斜めシフトにより高解像度化された撮像信号であるうえ、上記ＬＰＦ３により７ＭＨｚの周波数帯域に制限しても、上記再サブナイキストサンプリング処理により１４ＭＨｚの周波数帯域の撮像信号を再生することができる。このため、最終的に出力する撮像信号の高域をカットすることなく、完全な周波数帯域のまま出力することができる。従って、いわゆるＨＤテレビジョン受像機に対応可能な撮像信号を出力することができる。
【００５１】
また、上記ＬＰＦ３で抽出する周波数帯域を７ＭＨｚとしても、上記再サブナイキストサンプリング処理により１４ＭＨｚ（元の周波数）の撮像信号を再生することができるため、該ＬＰＦ３から出力される撮像信号の伝送帯域を軽減することができる。このため、例えば上記ＬＰＦ３からの撮像信号をそのままビデオテープレコーダ装置で記録したり、他の信号処理装置に伝送する場合等に伝送ラインの伝送帯域を軽減することができ有効なものとすることができる。
【００５２】
次に、上記各出力端子１８Ｒ，１８Ｇ，１８Ｂを介して出力される各撮像信号のうちＲの撮像信号は、図５に示す加算器２１及びディテール形成回路２０に供給され、Ｇの撮像信号は加算器２２及び上記ディテール形成回路２０に供給され、Ｂの撮像信号は加算器２３に供給される。
【００５３】
上記ディテール形成回路２０は、上記Ｒの撮像信号及びＧの撮像信号から１４ＭＨｚの周波数帯域を有する輪郭強調用のディテール信号を形成し、これをバントパスフィルタ（ＢＰＦ）２５に供給する。
【００５４】
上記バンドパスフィルタ２５は、例えば７ＭＨｚを中心としてその前後所定分の周波数帯域を抽出する特性を有している。このため、上記バンドパスフィルタ２５は、上記１４ＭＨｚの周波数帯域を有するディテール信号のうち、例えば７ＭＨｚを中心としてその前後所定分の周波数帯域を抽出し、これを上記各加算器２１〜２３に供給する。
【００５５】
上記加算器２１は、上記Ｒの撮像信号に上記ディテール信号を加算処理し、上記加算器２２は、上記Ｇの撮像信号に上記ディテール信号を加算処理し、上記加算器２３は、上記Ｂの撮像信号に上記ディテール信号を加算処理する。
【００５６】
なお、上記図５の例では、Ｒの撮像信号及びＧの撮像信号をディテール形成回路２０に供給して、ここでディテール信号を形成し、さらにこれをバントパスフィルタ２５に供給するようにしているが、簡易型として、図６に示すように、Ｒの撮像信号及びＧの撮像信号をそれぞれバンドパスフィルタ及びアンプからなるＢ・Ａ回路２６，２７に通し、その後加算器２８で加算したものをディテール信号として、加算器２１〜２３に送るようにすることも可能である。
【００５７】
上述のように、上記各撮像信号は１４ＭＨｚの全周波数帯域が再生されて出力されるため、この各撮像信号に上記ディテール信号を加算処理することにより、図３の（ｅ）に示すように上記７ＭＨｚ近辺に輪郭強調のためのディテール信号が加算された各撮像信号が形成され、さらに高解像化された撮像信号を形成することができる。
【００５８】
この各撮像信号は、各出力端子２４Ｒ，２４Ｇ，２４Ｂを介して、例えば図示しないプロセス処理回路等に供給される。
【００５９】
次に、上述した再サブナイキストサンプリングの際のサンプリングパルスの位相の自動選定について、より一般化して以下に説明する。なお、以下の説明では、前述の図３等と重複する部分もあるが、説明の都合上再度述べている。
【００６０】
先ず、ＣＣＤイメージセンサ上に結像された被写体からの光像は、当該ＣＣＤイメージセンサの画素配列による空間サンプリング周波数ｆs で撮像されることで、図７に示すように上下サイドバンド（上側バンド及び下側バンド）の周波数に変換される。このとき、下側バンドはＳ0fとなって生じる。その様子を簡略化して計算すると以下のようになる。
【００６１】
例えば上記光像が単一コサイン波である（以下原信号Ｓ0 と呼ぶ）として、
サンプリング信号はcos2πｆs ｘ              ▲１▼
原信号Ｓ0 はcos2πｆ（ｘ＋θ）              ▲２▼
（θはサンプリング信号との位相関係を与える。）
のとき、ｆs より大きい周波数（ｆ＞ｆs ）の上側バンドはローパスフィルタによって除かれ、またＤＣ成分は対象外として、ＣＣＤイメージセンサによりサンプルされた信号Ｓc は、
Ｓc ＝cos2π｛(fs /2-f)x−ｆθ｝cos2π(fs /2)x      ▲３▼
となる。この▲３▼式はキャリアがcos2π(fs /2)xで、振幅は第１項で変調を受けている。その振幅は、ｆ＝ fs /2の近辺では変数ｘに対して緩やかに変化するのがわかる。このとき、最大値(max) 出力が得られるのは、
２π(fs /2-f)x−２πｆθ＝ｎπ        ▲４▼
(n=0,1,2,3,・・・)
のときであり、このときの上記Ｓc は、
Ｓc ＝ cos２π(fs /2)x                ▲５▼
となる。
【００６２】
上記ＣＣＤイメージセンサの出力は、後述するアンプ，ローパスフィルタ等を通り、信号Ｓcaとなされるが、ここで、空間関係を時間関係へリニアに変換して、ｆs →ｆsp，θ→Ｔ，ｆ→Ｆとすると、
Ｓca＝ cos｛２π(fsp/2−F)t −２πFT｝cos ２π(fsp/2)t      ▲６▼
と表示できる。
【００６３】
ここで、ｆsp／２の近くの、ある周波数の垂直パターンからなるテストバーを写したときの信号Ｓcaは、図８のようになり、その最大値出力が生ずる横軸上のｔは上記Ｔにより変わるが、最大値の近辺の成分は上記▲５▼式に相当する▲７▼式の成分がでている（これは原信号のＦ成分ではない。）。
【００６４】
cos ２π(fsp/2)t      ▲７▼
この信号Ｓcaを前記合成メモリ５に書き込むため、Ａ／Ｄ変換器４によって上記信号Ｓcaを再サンプリングする。このときの再サンプリングにおけるサンプリング周波数を上記ｆspとする。なお、２ｆspにしないのは、図７の疑似信号Ｓofの下側バンドを復活させるためである。
【００６５】
次に、図８には、ｆspを用いた再サンプリングによる周波数変換の様子を示す。なお、図８にはＦ＜ｆsp分のみ示している。
【００６６】
この図８において、ｆspを用いた再サンプリングにより、Ｓa0はＳofから生じ、ＳafはＳ0 から生ずる。必要な信号はＳ0 分とＳa0分から加算される。したがって、信号系の遅延時間の周波数特性変化は小でないといけない。また、Ｓof、Ｓafなどの不要信号は、前記図１で説明した光像シフト法を用いると、メモリで合成後ではキャンセルされて信号分には現れない。
【００６７】
図９は、再サンプリングの周波数を２ｆspにしたときのもので、Ｓa0もＳafもｆsp以上の帯域に入るので、ｆsp以上をカットオフするローパスフィルタで除去される。
【００６８】
しかし、Ｓa0による高域分（ドットで表示）が、信号に加わらない欠点がある。Ｓ0 による高域分は、カメラ部２００の後段のＬＰＦ３などで減衰しているので、結果として高域が不足することになる。以上はＳofを利用する場合のサブナイキスト再サンプリングに関して述べてきた。
【００６９】
ところで、図１０のような信号のｆsp／２近辺の周波数成分を再サンプリングするとき、サンプリングの位相を考えないと、出力が最大に取り出せないことが生ずる。
【００７０】
すなわち、図１０において、最大値近辺の信号（図中各ドットで示す）は cos２π(fsp/2)tであるから、これをサンプリング信号 cos２πｆsp(t-d) （ｄは位相差を与える）で、再サンプリングすることになる。ここで、ｔ−ｄ＝ｘとおけば、サンプリング信号は cos２πｆspｘ、信号成分は cos２πｆsp（ｘ＋ｄ）となり、前記▲１▼，▲２▼式と同様の関係になる。したがって、サンプリング結果は、
0003692554.tif 000002
となり、当該▲８▼式の(cos２π(fsp/2)d) が図１１に示すように振幅を決める。すなわち、この図１１において、
ｄ＝０のとき最大
ｄ＝１／2fspのとき０
となる。
【００７１】
この図１１において、振幅が０．７になる点を求めると、
ｆspπｄ＝π／４
∴ｄ＝１／4fsp
となり、このピークを見つけるには、ｄを連続に（０〜１）×１/fspまで変化させればよい。現実的には６等分位のサンプリングで見つけることができる。
【００７２】
ここで、周波数がｆspまで変化するチャートを写し、以上のように再サンプリングし、Ｄ／Ａ変換した結果は、図１２のようになる。この図１２のａはｄ＝０のとき、図１２のｂはｄ＝１／2fspのときの応答である。なお、図１２では、Ｄ／Ａ変換で周波数帯域の変換は行っていないものとして、横軸Ｆの表示をしてある。
【００７３】
したがって、図１２のｃのような特性のバンドパスフィルタでその部分の信号レベルを検出比較すれば、サンプリングパルスの位相が適当か否かの判断ができる。
【００７４】
例えば、ｆsp＝１４ＭＨｚとして、図１２の減衰を３ｄＢ以内におさめるとすれば、図１１でｄ＝±１８ｎｓ以内にする必要がある。
【００７５】
なお、ケーブルやアンプの遅延などを変えれば、Ａ／Ｄ変換用のサンプルホールドパルスと信号分との遅延時間差は、上記範囲外となることもある。
【００７６】
そこで、本実施例では、使用する時点で上記遅延差を自動設定してＣＣＤイメージセンサ出力と再サンプリングのクロックとの位相を合わせる方式を採用している。
【００７７】
図１３に図１の光路シフト部１及び撮像信号形成部２を有するカメラ部２００の出力信号とＡ／Ｄ変換器４におけるサブサンプリングパルスとの位相を合わせる本実施例装置の要部の構成を示す。
【００７８】
図１３において、上記カメラ部２００からの前記Ｒ，Ｇ，Ｂの各チャンネルの撮像信号は、アンプ２０２で増幅され、前記ＬＰＦ３を介し、さらに前記Ａ／Ｄ変換器４に送られる。なお、図１３にはＲチャンネルの構成のみ示すが、Ｂチャンネルについては端子２２１を介して同様の構成に送られ、Ｇチャンネルについては端子２２２を介して同様の構成に送られる。
【００７９】
上記Ａ／Ｄ変換器４では、上記アンプ２０２を介した信号がサンプルホールドされてＡ／Ｄ変換される。このＡ／Ｄ変換器４の出力は、前記合成メモリ５に蓄えられた後、前記Ｄ／Ａ変換器６でアナログ信号に戻され、さらに前記ＬＰＦ８で低域通過処理がなされ、端子１８ＲからＲチャンネルの出力信号Ｓcaとして出力される。
【００８０】
一方、上記カメラ部２００からの同期信号（sync）は、前記再サブナイキストサンプリングタイミング発生回路７のＰＬＬ（phase locked loop)回路２０３に送られる。このＰＬＬ回路２０３は、上記同期信号を基にしてタイミングパルスを発生し、このタイミングパルスが所定遅延時間Ｄの遅延回路２０８〜２１１に順次送られる。また、これら遅延回路２０８〜２１１のうちの初段の遅延回路２０８への入力は切換スイッチＳＷ１の被切換端子２４１にサンプリングパルスＣ1 として送られ、遅延回路２０８の出力（遅延回路２０９の入力）はスイッチＳＷ１の被切換端子２４２にサンプリングパルスＣ2 として、遅延回路２０９の出力（遅延回路２１０の入力）はスイッチＳＷ１の被切換端子２４３にサンプリングパルスＣ3 として、遅延回路２１０の出力（遅延回路２１１の入力）はスイッチＳＷ１の被切換端子２４４にサンプリングパルスＣ4 として、遅延回路２１１の出力はスイッチＳＷ１の被切換端子２４５にサンプリングパルスＣ5 として送られる。
【００８１】
当該切換スイッチＳＷ１は、被切換端子２４１から被切換端子２４５までが１フィールド毎に順次切り換えられるものであり、したがって共通端子ｋ１からはサンプリングパルスＣ1 からＣ5 までが１フィールド毎に切り換わって出力される。
【００８２】
この切換スイッチＳＷ１の制御信号は、上記ＬＰＦ８の出力に基づいて生成されている。すなわち、上記ＬＰＦ８の出力は、前記再サブナイキストサンプリングタイミング発生回路７の減衰検出用のバンドパスフィルタ２１２に送られ、さらにそのピークを検波してサンプルホールドする検波ホールド回路２１３を介して低速のＡ／Ｄ変換器２１４でディジタル化される。このディジタルデータは、メモリ／比較回路２１５にて記憶されると共に比較が行われる。このメモリ／比較回路２１５は、上記サンプリングパルスＣ1 〜Ｃ5 のクロックに対応した各ディジタル値を比較し、最高の値をとるサンプリングパルスを選定するように、上記切換スイッチＳＷ１を制御する。
【００８３】
また、切換スイッチＳＷ２は、共通端子Ｋ２と被切換端子ａとを接続したときは、端子２２３を介して供給される初期設定のサンプリングパルスを選定するようスイッチＳＷ１に命じ、共通端子ｋ２と被切換端子ｂとを接続したときには前記自動選定のための制御信号を上記端子２２４を介して上記スイッチＳＷ１に送る。なお、上記サンプリングパルスの位相の自動選定の開始は、カメラ部２００の電源投入後の初期準備期間に行う。
【００８４】
以上の説明では、バンドパスフィルタ２１２をＤ／Ａ変換器６でのディジタル／アナログ変換後に設けたが、ディジタル／アナログ変換の前のディジタル系に上記バンドパスフィルタ２１２と等価のディジタルバンドパスフィルタを設け、このディジタルバンドパスフィルタの出力に対して上述同様の検出等を行うことも可能である。また、サンプリングパルスの位相の設定は遅延回路２０８〜２１１によって行ったが、ＰＬＬ回路２０３のコントロール電圧を可変することでもできる。
【００８５】
また、前述したように、カメラ部２００の被写体として例えば図１２に示したような減衰が生ずる周波数帯域内の、ある単一周波数を生ずる垂直パターンからなる図１４に示すようなテストバーを用いる他に、図１０に示した cos２π(fsp/2)tに位相も合致するテスト信号をカメラ部２００で生成して、上記被写体の撮像信号の代わりとすることもできる。
【００８６】
ところで、前述した図１８に示す従来例のような空間画素ズラシをした３板式のＣＣＤカメラの場合には、前記折り返し成分Ｓofの低域成分を減衰するために、原信号Ｓ0 の高域成分を前記オプティカルローパスフィルタで減衰させている。また、（１／２）ｆs 近辺の信号を有効に取り出すため、前記図１８内のディテール形成回路１０８等を使用している。
【００８７】
この図１８のようなＣＣＤカメラでは、理想条件として、１／２ピッチシフトが正確で、Ｒ，Ｇ用の撮像レンズの色倍率が等しく、かつＲ，Ｇを等量に含む被写体を撮像する場合は、Ｈ方向２倍の画素のＣＣＤイメージセンサを用いたと等価に近づくので、前記図１２のｂのような明確な減衰が生じない。しかし、単色被写体の場合は、図１２のｂのような減衰が生ずる。
【００８８】
したがって、この図１８に示したようなＣＣＤカメラに対してサンプリングパルスの位相選定を行う場合には、ディテール形成を行わない状態で、サンプリングパルスの位相を選定する。この場合、例えば、Ｒチャンネル用のサンプリングパルスには、撮像レンズ１００の前にＲ用の色フィルタを、Ｇチャンネルのサンプリングパルスには、撮像レンズ１００の前にＧ用の色フィルタを付けた状態でサンプリングパルスの位相を選定する。
【００８９】
図１８の構成において上記色フィルタ付の状態でのサンプリングパルスの位相選定と、本実施例におけるサンプリングパルスの自動位相選定後のバンドパスフィルタの出力の様子は、図１５のようになる。すなわち、図１５には、前述の図１のようにｆsp＝１４ＭＨｚにおける空間画素ずらしをした３板式ＣＣＤカメラのＲチャンネル，Ｇチャンネルのカメラ出力に対して、サンプリングパルスの位相（時間遅延、７０ｎｓで２π）を変化させたときの、６．５ＭＨｚ〜７．５ＭＨｚの帯域通過を行うバンドパスフィルタ出力のレベルの一例を示す。すなわちこの図１５において、図中「ＤＴＬ有り」で示す本実施例におけるサンプリング自動位相選定後のバンドパスフィルタ出力レベル変動は少ないが、Ｇ色のみの被写体に対しては３０ｎｓのときがよく、Ｒ色のみの被写体に対しては５０ｎｓ位のところがよいので、Ｇチャンネル位相は３０ｎｓ、Ｒチャンネル位相は５０ｎｓに設定する。
【００９０】
実際は、上記理想条件が、ＣＣＤの画面上全体に渡って満足されることは少ないので、ディテール信号形成の効果は画面の場所によって異なってくる。通常のＣＣＤカメラではこれでもしかたないが（この場合は２ｆspで再サンプリングすれば位相の問題がない）、Ｓa0も利用する高解像度のＣＣＤカメラとして用いるときは、前記光像シフト法としてオプティカルローパスフィルタ（ＯＬＰＦ）は光像シフト板として用い、ディテール信号形成は行わず、その代わり、Ｒ，Ｇ，Ｂ信号の各高域増幅用のアンプを通して、再サンプリング回路に導く構成がよい。このときは、本実施例のサンプリングパルス位相自動選定方法も有効に働く。上記高域増幅用のアンプの特性は、例えば図１６に示すような特性とする。
【００９１】
図１７のＡ及びＢには、空間画素ズラシ方式の３板式ＣＣＤカメラにおいてディテール信号形成を行わない前述の構成で、Ｈ方向に光像シフトし、メモリ合成したもので、ｆsp＝１４ＭＨｚ、テストパターンは１０ＭＨｚまでの例におけるサンプリングパルスの位相が最適時と最悪時の信号の状態を示している。このケースでは、Ｇチャンネルの場合、再サンプリングの位相が悪いと、４ＭＨｚ以上は大きく減衰しているのがわかる。また、光像のシフトやメモリの合成など関係なく、（１／２）ｆsp近辺の減衰は、再サンプリングのサンプリングパルス位相によって決まる。
【００９２】
なお、ＣＣＤカメラの出力をサブナイキストサンプリング周波数で再サンプリングする場合において、ＣＣＤカメラ出力と再サンプリングの位相を調整する方法は、特開平５−９５５５号公報などにあるが、具体的にどうするかなどは不明である。また、初期設定のみでは条件の変化に対応できないことがある。さらに、位相が合っていないと折り返し成分の含む信号のうちナイキスト周波数近辺がＤ／Ａ変換後に再現されないことが生じる。
【００９３】
【発明の効果】
本発明に係る撮像信号処理方法及び装置によれば、所定の空間サンプリング周波数ｆｓで各素子が配列される固体撮像素子からの撮像信号を再サンプリングするとき、空間サンプリング周波数ｆｓに相当する時間軸上での周波数ｆｓｐの１／２の周波数ｆｓｐ／２近辺の周波数帯域に相当する成分レベルが最高になるサンプリング位相を選定して再サンプリングのクロックとすることで、最大出力を取り出すことができ、したがって、折り返し成分の悪影響を軽減して高域をカットすることなく全帯域の撮像信号を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の撮像信号処理方法及び装置が適用されるＣＣＤカメラの概略構成を示すブロック回路図である。
【図２】本実施例のＣＣＤカメラに設けられている各ＣＣＤイメージセンサの空間サンプリング位置及び光路シフト部の光路シフト動作を説明するための図である。
【図３】本実施例のＣＣＤカメラにおける再サブナイキストサンプリング処理を説明するための撮像信号のスペクトルを示す図である。
【図４】本実施例のＣＣＤカメラに設けられている理想ＬＰＦの特性を示す図である。
【図５】本実施例のＣＣＤカメラのディテール信号を形成する回路構成を示すブロック回路図である。
【図６】本実施例のＣＣＤカメラのディテール信号を形成する他の例の回路構成を示すブロック回路図である。
【図７】ＣＣＤイメージセンサの周波数レスポンスを示す図である。
【図８】サンプリング周波数ｆspによる再サンプリングで得られるスペクトルを示す図である。
【図９】サンプリング周波数２ｆspによる再サンプリングで得られるスペクトルを示す図である。
【図１０】テストバーを写した場合のＣＣＤイメージセンサの出力信号の例を示す図である。
【図１１】ナイキスト周波数のサンプリングパルスでサンプリングした後の信号の成分レベルが最高になる点を説明するための図である。
【図１２】再サンプリングし、Ｄ／Ａ変換した結果について説明するための図である。
【図１３】再サブナイキストサンプリングタイミング発生回路の具体的構成を説明するためのブロック回路図である。
【図１４】テストバーを示す図である。
【図１５】サンプリングパルスの自動位相選定後のバンドパスフィルタの出力の様子を示す図である。
【図１６】高域増幅用アンプの特性を示す図である。
【図１７】再サンプリングの最適時と最悪時を比較するための図である。
【図１８】従来の３板式のＣＣＤカメラの概略構成を示すブロック回路図である。
【図１９】従来の３板式のＣＣＤカメラに設けられている各ＣＣＤイメージセンサの空間サンプリング位置を説明するための図である。
【図２０】従来のＣＣＤカメラから出力される撮像信号が形成される様子を示す図である。
【符号の説明】
１  光路シフト部
２  撮像信号形成部
３，８  ローパスフィルタ（ＬＰＦ）
４  Ａ／Ｄ変換回路
５  合成メモリ
６  Ｄ／Ａ変換回路
７  再サブナイキストサンプリングタイミング発生回路
１７Ｒ  赤色用ＣＣＤイメージセンサ
１７Ｇ  緑色用ＣＣＤイメージセンサ
１７Ｂ  青色用ＣＣＤイメージセンサ
２１２  バンドパスフィルタ
２１３  検波ホールド回路
２１５  メモリ／比較回路
ＳＷ１，ＳＷ２  スイッチ
２０８〜２１１  遅延回路
【図１】
0003692554.tif 000003
【図２】
0003692554.tif 000004
【図３】
0003692554.tif 000005
【図４】
0003692554.tif 000006
【図５】
0003692554.tif 000007
【図６】
0003692554.tif 000008
【図７】
0003692554.tif 000009
【図８】
0003692554.tif 000010
【図９】
0003692554.tif 000011
【図１０】
0003692554.tif 000012
【図１１】
0003692554.tif 000013
【図１２】
0003692554.tif 000014
【図１３】
0003692554.tif 000015
【図１４】
0003692554.tif 000016
【図１５】
0003692554.tif 000017
【図１６】
0003692554.tif 000018
【図１７】
0003692554.tif 000019
【図１８】
0003692554.tif 000020
【図１９】
0003692554.tif 000021
【図２０】
0003692554.tif 000022