(57)【要約】【課題】レンズの色収差などの影響で画素ずらしがうまくいかず、折り返し成分が残るときに、折り返し成分を抑制することのできる撮像装置を提供することを目的とする。【解決手段】Ｇの信号のサンプリングの位置に対して、ＢとＲの信号のサンプリングの位置をサンプリング間隔の半分だけずらして配置した撮像素子１０２と、撮像素子１０２から出力される信号に、ゲインの調整等の処理を行う映像信号処理部１０３と、映像信号処理部１０３から出力されるＲａとＧａとＢａの信号の間にある位相のずれを補正する位相シフト部１０４と、色収差が所定の値以上のときにゲインを小さくする制御信号を出力するゲイン制御部１０６と、位相シフト部１０４からの出力の高域成分を加算して、高域成分を制御信号に従って置き換える高域置換部１０５とを具備する。【選択図】図１
2008219579.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光を集光するレンズと、
前記レンズを通過して結像した光をＧ（緑）、Ｂ（青）、Ｒ（赤）の電気信号に変換し、Ｇの信号のサンプリングの位置に対して、ＢとＲの信号のサンプリングの位置をサンプリング間隔の半分だけずらして配置した撮像手段と、
前記撮像手段から出力される信号に、ゲインの調整と直流レベルの調整を含む所定の信号処理を行う映像信号処理手段と、
前記映像信号処理手段から出力される信号のＲとＧとＢの信号の間にある位相のずれを補正する位相シフト手段と、
前記レンズの色収差が所定の値以上のときにゲインを小さくする制御信号を生成するゲイン制御手段と、
前記位相シフト手段からのＧ、Ｂ、Ｒ出力信号の高域成分を加算して、前記ゲイン制御手段から出力される前記制御信号に従って前記高域成分のゲインを小さくして前記位相シフト手段からのＧ、Ｂ、Ｒ出力信号の高域成分を置き換える高域置換手段と、
を具備することを特徴とする撮像装置。
【請求項２】
ゲイン制御手段は、
レンズの色収差が０．１２５画素以下のときは、ゲインとして１を出力し、０．２５画素以上のときはゲインを０とすることを特徴とする請求項１記載の撮像装置。
【請求項３】
ゲイン制御手段は、
レンズの色収差が０．１２５〜０．２５画素のときは、収差量から０．１２５を減算した値に８を乗算した値を１から減算した値を出力することを特徴とする請求項２記載の撮像装置。
【請求項４】
高域置換手段は、
入力されたＧの信号を１クロック遅らせ、Ｒ、Ｂの信号との位相を合わせる遅延回路と、ＲとＧの信号を１クロックおきに選択する選択回路と、
前記選択回路により選択されたＲとＧの信号から第１の高域成分を抽出するハイパスフィルタと、
前記第１の高域成分をゲイン制御手段から出力される制御信号に従ってゲイン調整して、第２の高域成分を生成する乗算器と、
Ｒ、Ｇ、Ｂの信号からそれぞれ低域成分のみ抽出するローパスフィルタと、
各色の低域成分に前記第２の高域成分を加算し、高域成分を置き換える加算器と、
からなることを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置に関し、詳しくは、色収差のある系で画素ずらしを用いた撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置において、レンズの屈折率が光の波長によって異なるために、光の３原色であるＧ（緑）、Ｂ（青）、Ｒ（赤）の光の撮像素子への結像位置がずれて、映像に色ずれが生じることはよく知られている。そして、このＧの光の結像位置に対する、Ｒ及びＢの光の結像位置の差をＲ及びＢの光の色収差といい、特に結像面において映像の倍率の差となって現れる色収差を倍率色収差という。
【０００３】
この倍率色収差はレンズの中心から離れるに従って大きくなる傾向があり、その結果、画面の端に近いほどＲ、Ｇ、Ｂの画像にずれが生じる。例えば、図８に示すように、黄色い丸の被写体があったとすると、レンズの中心付近を通過する光の像は、赤の光と緑の光はそのまままっすぐ通過するので、赤の光と緑の光の像がずれることはない。しかし、レンズの端の付近を通過するものは、レンズの屈折率が異なるため、それぞれの光はずれた位置に結像する。そして、これは一般に図９に示すように、レンズの中心に対して点対称になる。
【０００４】
一方、ビデオカメラでは撮像素子の画素数をできるだけ少なくするために、Ｇの画素の位置に対してＲとＢの画素の位置を半画素ずらして配置し、無彩色画像に対してサンプリング点を２倍にする画素ずらしという方法がとられる場合がある。
【０００５】
この場合、Ｇ、Ｂ、Ｒの映像信号の高域成分を、ＧとＲの映像信号からつくったサンプリング周波数が２倍になった信号に置き換えて、低域成分に各色の低域成分をそのまま使用する。例えば、Ｇは映像信号Ｇの低域成分と２倍のサンプリング高域成分を加算したものにする。
【０００６】
こうすることによって、解像度が向上することはよく知られており、数多くの商品に活用されている。
【０００７】
しかしながら、このような画素ずらし方法をとる場合において、映像信号ＧとＲまたはＢのサンプリング位置がわずかにずれたりすることにより、映像信号に余分な折り返し成分が生じる場合がある。そして、この課題に対しては、特許文献１に、画素ずらしが行われた固体撮像素子から出力される映像信号に含まれる折り返し成分を除去する方法が開示されており、その動作の概要は以下の通りである。
【０００８】
図１１は特許文献１に示される映像信号処理装置の構成図である。図１１において、各色用の固体撮像素子（図示せず）から出力される映像信号Ｒ、Ｇ、Ｂを、先ず画素ずれ補正部１１０１に供給し、映像信号Ｒ、Ｇ、Ｂ間の画素ずれを補正した映像信号Ｒ’、Ｇ’、Ｂ’を生成する。これらの映像信号を折り返し成分検出部１１０２に供給し、ここで折り返し成分信号Ｈを検出するとともに折り返し成分除去部１１０３にも供給し、折り返し成分検出部１１０２で検出した折り返し成分信号Ｈをこの折り返し成分除去部１１０３に供給して折り返し成分を除去する。このようにして、画素ずれが補正され、折り返し成分が除去された映像信号Ｒ０、Ｇ０、Ｂ０が得られる。
【０００９】
次に、図１１における画素ずれ補正部１１０１の動作を述べる。図１２は画素ずれ補正部１１０１の詳細な構成を示す図である。固体撮像素子から出力される映像信号Ｒ、Ｇ、Ｂを画素ずらし用のデジタルフィルタ１２０１、１２０２、１２０３へそれぞれ供給する。デジタルフィルタ１２０１は映像信号Ｒを画面の左方向へ０．２５画素だけずらし、デジタルフィルタ１２０２は映像信号Ｇを画面の右方向へ０．２５画素だけずらし、デジタルフィルタ１２０３は映像信号Ｂを画面の左方向へ０．２５画素だけずらす。
【００１０】
次に、図１１における折り返し成分検出部１１０２の動作を述べる。図１３は折り返し成分検出部１１０２の詳細な構成を示す図である。画素ずれ補正部１１０１により画素ずれを補正した映像信号Ｒ’、Ｇ’、Ｂ’を、それぞれ乗算器１３０１、１３０２、１３０３の一方の入力端子に供給する。そして、乗算器１３０１は入力された映像信号Ｒ’をｋｒ倍し、乗算器１３０２は入力された映像信号Ｇ’を０．５倍し、乗算器１３０３は入力された映像信号Ｂ’をｋｂ倍する。ここで、係数ｋｒと係数ｋｂは、係数ｋｒと係数ｋｂを加算すると常に０．５となる値にする。次に、乗算器１３０１及び乗算器１３０３の出力信号を加算器１３０４で加算する。そして、減算器１３０５にて、加算器１３０２の出力信号から加算器１３０４の出力信号を減算し折り返し信号Ａを得る。この折り返し信号ＡをＨＰＦ（ハイパスフィルタ）１３０６に入力する。ＨＰＦ１３０６では、周波数ｆｃ以下の信号成分を十分に減衰し、周波数ｆｃ以上の高域成分のみを通過させる。このようにして、ＨＰＦ１３０６から折り返し成分信号Ｈを得ることができる。
【００１１】
次に、図１１における折り返し成分除去部１１０３の動作を述べる。図１４は折り返し成分除去部１１０３の詳細な構成を示す図である。画素ずれ補正部１１０１で各色間の画素ずれが補正された映像信号Ｒ’、Ｇ’、Ｂ’及び、折り返し成分検出部１１０２で検出された折り返し成分信号Ｈに対して、加算器１４０１で映像信号Ｒ’と折り返し成分信号Ｈを加算し、減算器１４０２で映像信号Ｇ’から折り返し成分信号Ｈを減算し、加算器１４０３で映像信号Ｂ’と折り返し成分信号Ｈを加算する。これにより、折り返し成分が除去された加算器１４０１の出力である映像信号Ｒ０、減算器１４０２の出力である映像信号Ｇ０、加算器１４０３の出力である映像信号Ｂ０を生成する。
【００１２】
以上の動作により映像信号Ｒ’、Ｇ’、Ｂ’に含まれるｆｃ以上の周波数成分が除去された映像信号Ｒ０、Ｇ０、Ｂ０を得ることができる。ここで、ｆｃを固体撮像素子の動作周波数の半分の周波数とすれば、固体撮像素子の動作周波数の半分の周波数以上の周波数成分が除去された映像信号Ｒ０、Ｇ０、Ｂ０を得ることができる。
【特許文献１】特開平７−１５４８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上記のような画素ずらし方法を用いる場合、ＧとＲの信号を合わせることで２倍のサンプリングになるのは、あくまでＧとＲの信号のサンプリングの位置が互いにサンプリング間隔のちょうど半分ずれている場合である。よって、レンズの色収差などが原因で、被写体に対するＧとＲの信号のサンプリングの位置が撮像素子のフォトダイオードの画素間隔の半分だけずれていない場合は、ＧとＲの信号を合わせても２倍のサンプリングにならなくなる。例えば、収差量が半画素分あるときは、ＧとＲの信号のフォトダイオードのサンプリングの位置のずれと合わせると、ちょうどＧとＲの映像に対するサンプリングの位置が一致してしまい、画素ずらしが成り立たなくなってしまう。そうすると、折り返し成分はまるまる残ってしまい、画素ずらしにしたことでかえってマイナスになってしまう。なぜなら、画素ずらしをしない場合は、光がレンズを通過して撮像素子に到達する光学系において、ナイキスト周波数以上の折り返しができるだけ出ないような光学系で減衰させているが、画素ずらしを用いるときは、各色の画素間隔の半分の間隔に対してナイキスト周波数を定義するため、各色の個々にみたときのナイキスト周波数以上の周波数が残っているからである。
【００１４】
つまり、画素ずらしがうまくいく場合は、この各色の個々にみたときのナイキスト周波数以上の周波数はＧとＲの信号から生成した高域信号に置き換えるので、折り返しはほぼなくなるが、画素ずらしが色収差などの影響でうまくいかない場合には、この折り返し成分が残ってしまうことになるということである。
【００１５】
図７は信号の折り返し周波数の位置を示した図である。撮像素子でサンプリングされた信号は周波数Ｆｓで折り返す。画素ずらしのために、Ｆｓの２倍の周波数（２Ｆｓ）までは帯域が確保されているので、例えば図７のＦＡは減衰されずに残っている。そして、画素ずらしがうまくいかないとＦＡはＦｓを中心として折り返した位置、すなわちＦＢの位置に折り返し信号として現れる。
【００１６】
そして、レンズに色収差があると、高域の折り返し成分に対して、画素ずらしが成り立たなくなり、折り返し成分が、そのまま残っている。故に、そのまま、低域成分に加算すると折り返し成分をそのまま加算することになる。
【００１７】
例えば、画面に対して図１０（ｂ）に示すような収差量の変化があったとき、収差量の小数部が０のときは、収差量が０のときと同じサンプリングの位置がサンプリングされるため、連続する高い周波数はそのまま再現でき、図１０（ａ）の波形１のようになる。収差量の小数部が０．５のときはＲとＧの信号のサンプリングの位置が同じになるので、画素ずらしの効果がなくなり、連続する高い周波数は折り返し成分として、図１０（ａ）の波形３のようになり全て低域成分になる。また、その収差量の小数部分が０．５未満及び、０．５以上かつ１．０未満においては、収差量の波形１と波形３の成分が混じった信号となり、波形２や波形４のような信号になり、歪んだ信号となる。
【００１８】
本発明は、上述のように画素ずらしにより解像度の向上を図るようにした撮像装置において、レンズの色収差などの影響で画素ずらしがうまくいかず、折り返し成分が残るときに、折り返し成分を抑制することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の撮像装置は、被写体の光を集光するレンズと、前記レンズを通過して結像した光をＧ（緑）、Ｂ（青）、Ｒ（赤）の電気信号に変換し、Ｇの信号のサンプリングの位置に対して、ＢとＲの信号のサンプリングの位置をサンプリング間隔の半分だけずらして配置する撮像手段と、前記撮像手段から出力される信号に、ゲインの調整と直流レベルの調整を含む所定の信号処理を行う映像信号処理手段と、前記映像信号処理手段から出力される信号のＲとＧとＢの信号の間にある位相のずれを補正する位相シフト手段と、前記レンズの色収差が所定の値以上のときにゲインを小さくする制御信号を生成するゲイン制御手段と、前記位相シフト手段からのＧ、Ｂ、Ｒ出力信号の高域成分を加算して、前記ゲイン制御手段から出力される前記制御信号に従って前記高域成分のゲインを小さくして、前記位相シフト手段からのＧ、Ｂ、Ｒ出力信号の高域成分を置き換える高域置換手段とを具備することを特徴とする。
【発明の効果】
【００２０】
以上の本発明により、画素ずらしにより解像度の向上を図るようにした撮像装置において、レンズの色収差などの影響で画素ずらしがうまくいかず、折り返し成分が残るときに、折り返し成分を抑制する撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２２】
（実施の形態１）
図１は本発明の実施の形態１の画素ずらしを用いた撮像装置の構成を示すブロック図、図２は図１の高域置換部の構成を示すブロック図、図３〜図５は各処理における映像信号の波形とサンプリングの位置を示す図、図６は画面における収差量の変化とゲインを表す図であり、これらの図を用いて、以下に本発明の撮像装置の動作を述べる。
【００２３】
図１において、１０１は被写体（図示せず）からの光を集光するレンズ、１０２は集光された光をＧ（緑）、Ｂ（青）、Ｒ（赤）の映像信号に変換する固体撮像素子、１０３は映像信号にゲイン調整等の処理を行う映像信号処理部、１０４は映像信号の位相を変える位相シフト部、１０５は映像信号の高域成分を置き換える高域置換部、１０６はゲイン制御信号を出力するゲイン制御部である。
【００２４】
図において、被写体からの光がレンズ１０１によって集光され、その光は光の３原色の緑、青、赤すなわちＧ、Ｂ、Ｒに分解され、それぞれ撮像素子１０２のフォトダイオードにて電気信号すなわち映像信号に変換される。このＧ、Ｂ、Ｒの映像信号は、映像信号処理部１０３で固体撮像素子固有のノイズを除去された後、Ａ／Ｄ変換されて、ゲイン調整、直流レベルの調整が行われ、Ｇａ、Ｂａ、Ｒａ信号として位相シフト部１０４に入力される。ここで、Ａ／Ｄ変換するときに、撮像素子のフォトダイオード１個に対して、１サンプルとなるように周波数Ｆｓが決められる。そして、位相シフト部１０４では、Ｇａ信号に対するＲａ信号の色収差及びＧａ信号に対するＢａ信号の色収差の分だけ、それぞれＲａ信号とＢａ信号を位相シフトして色収差の補正が行われ、Ｇｂ、Ｂｂ、Ｒｂの映像信号は互いに位相の揃った映像信号となる。この互いに位相の揃ったＧｂ、Ｂｂ、Ｒｂの映像信号は、図２に示す高域置換部１０５に入力され、各色の信号の帯域をそのまま保存した低域成分と高域成分とに分割され、Ｒｂ信号とＧｂ信号から生成した新たな高域成分を、Ｇｂ、Ｂｂ、Ｒｂの映像信号のそれぞれの低域成分に加算して生成した２倍のサンプリングされた信号Ｇｃ、Ｂｃ、Ｒｃに置き換えられる。
【００２５】
ここで、高域成分が加算される量は、ゲイン制御部１０６から与えられる制御信号ＧＡＩＮに従い、ＧｂとＲｂの信号の色収差量の差の絶対値が０．２５画素以上のときは高域成分を加算せず、０．１２５画素〜０．２５画素のときは色収差量が大きくなるに従って高域成分を加算する量を減らす。
【００２６】
これを図３の波形図を用いて説明すると、次のようになる。色収差がない場合、図３（ａ）に示すようなＲｎとＧｎ（ｎは整数）のサンプリングの位置になるはずのところが、Ｇ信号に対するＲ信号の色収差が０．５画素あると、図３（ｂ）に示すように、Ｒ信号はＧ信号と同じ位置をサンプリングすることになる。そして、このとき位相シフト部１０４では、図３（ｂ）に対して色収差の量の分だけ位相をシフトするので、図４（ａ）に示すＲｎＢ（ｎは整数）が得られる。そして、高域置換部１０５ではＲｎＢとＧｎから高域成分を生成するので、図４（ｂ）に示す高域成分を得る。一方で、Ｒ信号の低域成分はＲｎＢから生成するので、図５（ａ）に示すようにＲｎＢから補間して生成したＲｎＣ（ｎは整数）と合わせた信号がＲ信号の低域成分になる。そして、同様に、図５（ｂ）に示すように、Ｇｎから補間して生成したＧｎＡをＧｎと合わせた信号がＧ信号の低域成分になる。
【００２７】
これらの低域成分は本来の信号の折り返し成分であり、色収差があっても高域成分をそのまま加算すると、図４（ｂ）の信号をＲ信号の低域成分である図５（ａ）及びＧ信号の低域成分である図５（ｂ）の信号に加算することになるので、折り返し成分がさらに強調されてしまう。
【００２８】
しかし、ここで、ゲイン制御部１０６のゲイン調整信号により高域加算の量を制御し、色収差量が０．５画素以上の場合に高域成分を加算しないようにすると、図４の（ｂ）の信号は加算されないので、図４の（ｂ）を加算したときに比べて折り返し成分は少なくなる。
【００２９】
次に、図１における高域置換部１０５の動作を説明する。
【００３０】
図２は高域置換部１０５の構成図であり、高域置換部１０５以前のクロック周波数をＦｓとすると高域置換部１０５からクロックは周波数Ｆｓの２倍で動作させる。まず、入力されたＧｂ信号は遅延回路２０１にて１クロック遅らせ、Ｒｂ信号やＢｂ信号との位相を合わせる。次にＲｂ信号とＧｂ信号を選択回路２０２にて１クロックおきに選択し、その信号からＨＰＦ２０３にて高域成分を抽出する。
【００３１】
一方で、Ｒｂ、Ｇｂ、Ｂｂの信号はそれぞれＬＰＦ（ローパスフィルタ）２０４、２０５、２０６にてＦｓ以下の低域成分のみ抽出される。そして、各色の低域成分は、ＨＰＦ２０３の出力信号を乗算器２０７にてゲイン調整して生成した高域成分と加算器２０８〜２１０にて加算し、高域置換した信号Ｒｃ、Ｇｃ、Ｂｃを得る。
【００３２】
次にゲイン制御部１０６から出力する制御信号（ＧＡＩＮ）について説明する。図６は画面における収差量の変化とゲインを表している。図６に示すように、画面の垂直方向の中央部分での収差が、斜線部の内側の円の中では０．１２５画素以下、斜線部では０．１２５〜０．２５画素、斜線部の外側では０．２５画素以上の収差量があるとする。このとき、ゲイン制御部は、収差量が０．１２５画素以下のときは、ゲインとして１を出力する。０．１２５〜０．２５画素のときは、収差量から０．１２５を減算した値に８を乗算した値を１から減算した値を出力する。収差量が０．２５画素以上のときは０を出力する。
【００３３】
よって、その出力されるゲインは、図６（ａ）に示すように垂直方向の中央部分について、図６（ｂ）の収差量になるとき、図６（ｃ）に示すようなゲインとなる。
【００３４】
つまり、レンズの収差量が０．１２５画素以下のところでは、高域成分がそのまま加算されるが、０．２５画素以上のところでは加算されない。
【００３５】
上記のように、収差量が０．２５以上のところでは高域成分を加算しないので、折り返し成分を加算しないことになる。これは、図７の折り返しの様子を示す図で言えば、ＦＡをＦＢに加算しないということになる。
【００３６】
以上の動作により、画素ずらし方法を用いる撮像装置において収差量が大きいところの高域の折り返し成分が、図７に示すような、ＦＡがＦＢに折り返す量を抑制することができる。
【産業上の利用可能性】
【００３７】
本発明を用いることにより、レンズに大きな色収差がある場合に画素ずらし方法を用いたビデオカメラ等の撮像装置に有用である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態１の撮像装置の構成を示すブロック図
【図２】本発明の実施の形態１の撮像装置の高域置換部の構成を示すブロック図
【図３】本発明の実施の形態１の撮像装置の信号波形とサンプリング位置を示す図
【図４】本発明の実施の形態１の撮像装置の信号波形とサンプリング位置を示す図
【図５】本発明の実施の形態１の撮像装置の信号波形とサンプリング位置を示す図
【図６】本発明の実施の形態１の撮像装置の画面の収差量と高域置換の高域のゲインとの関係を示す図
【図７】画素ずらしの高域成分の折り返しの様子を示す図
【図８】色収差の発生する様子を示す図
【図９】色収差の発生する様子を示す図
【図１０】色収差が変化したときの高域成分の様子を示す図
【図１１】従来の映像信号処理装置の全体構成を示す図
【図１２】従来の撮像装置の画素ずれ補正部の構成を示す図
【図１３】従来の撮像装置の折り返し成分検出部の構成を示す図
【図１４】従来の撮像装置の折り返し成分除去部の構成を示す図
【符号の説明】
【００３９】
１０１  レンズ
１０２  撮像素子
１０３  映像信号処理部
１０４  位相シフト部
１０５  高域置換部
１０６  ゲイン制御部
２０１  信号遅延回路
２０２  選択回路
２０３  ＨＰＦ
２０４、２０５、２０６  ＬＰＦ
２０７  乗算器
２０８、２０９、２１０  加算器
【図１】
2008219579.tif 000003
【図２】
2008219579.tif 000004
【図３】
2008219579.tif 000005
【図４】
2008219579.tif 000006
【図５】
2008219579.tif 000007
【図６】
2008219579.tif 000008
【図７】
2008219579.tif 000009
【図８】
2008219579.tif 000010
【図９】
2008219579.tif 000011
【図１０】
2008219579.tif 000012
【図１１】
2008219579.tif 000013
【図１２】
2008219579.tif 000014
【図１３】
2008219579.tif 000015
【図１４】
2008219579.tif 000016