(57)【要約】【課題】ＣＣＤ撮像素子から出力される画像信号の感度を向上し色再現を維持する。【解決手段】ＣＣＤを用いた撮像装置において、赤緑青の色分解光学系と個体撮像素子を３ヶ用い緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらした撮像装置において、青の増幅度が必要なら、青をＭ（Ｍは２以上の自然数）画素水平加算し、外部同期に対し、ＭＣＣＤＣｌｏｃｋ（画素に相当）分進相させ、加算しない赤と緑をＭＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない赤と緑を交互にした信号の高周波数成分で補間する。【選択図】図２
2011217254.tif 000002
【特許請求の範囲】
【請求項１】
赤緑青の色分解光学系と個体撮像素子を３ヶ用いた撮像装置において、白バランス調整で他の色より高い増幅度が必要な色のＭｘＮまたはＭｘＬ（Ｍは２以上の自然数でＮは自然数でＬはＮ以下の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭｘＮＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない色をＭｘＮＣＣＤＣｌｏｃｋ遅延させ、ＭｘＬ加算した色をＭｘ（Ｎ―Ｌ）ＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない色の信号の高周波数成分で補間することを行うことを特徴とする撮像方法。
【請求項２】
赤緑青の色分解光学系と個体撮像素子を３ヶ用い緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらした撮像装置において、
白バランス調整で他の色より高い増幅度が必要な青または赤色のＭ（Ｍは２以上の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない色をＭＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない色を交互にした信号の高周波数成分で補間することと、を行うことを特徴とする撮像方法。
【請求項３】
赤緑青の色分解光学系と個体撮像素子を３ヶ用い緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらした撮像装置において、
白バランス調整で他の色より高い増幅度が必要な青または赤色のＭ（Ｍは２以上の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない青または赤色をＭＣＣＤＣｌｏｃｋ遅延させ、緑を（Ｍ−１／２）ＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない青または赤色と緑とを交互にした信号の高周波数成分で補間することと、を行うことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を有する撮像装置の感度向上に関するものである。
【背景技術】
【０００２】
ＣＣＤ（Charge-Coupled-Device）撮像素子は固体撮像素子の中でも感度が高く暗電流レベルが異常に高い白キズと呼ばれる画素が少ないが、高温度時や高感度撮像時や蓄積時は白キズが多い。さらにＣＣＤ撮像素子の近赤外感度を高くすると、フォトダイオードが深くなり白キズが増加する。そのため、蓄積動作で感度を向上させると、さらに白キズが増加する。そのため、実効感度向上が制限される。
【０００３】
そこで、従来、赤緑青の色分解光学系と個体撮像素子を３ヶ用いたカラーテレビジョンカメラにおいて、昼の高解像度のため緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらし映像信号の高周波数成分を緑と赤青の交互として高解像度化していた（特許文献１参照）。また、高感度撮像を実現するため、赤緑青同一の順番で水平２画素加算し、輪郭強調周波数を低下させ、高感度撮像の雑音を低減させていた（特許文献２参照）。さらに、上下走査線の信号で補間して輪郭強調し、雑音を低減させていた。
【０００４】
輝度信号Ｙと赤Ｒ緑Ｇ青Ｂの関係はＳＤＴＶでＹ＝０．５９Ｇ＋０．３Ｒ＋０．１１ＢでＳＤＴＶでＹ＝０．６１Ｇ＋０．３１Ｒ＋０．０８Ｂであり、おおよそＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂである。３２００Ｋ照明で白撮像時のＲＧＢの信号電荷比は１：１：０．２５程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０９＋０．１６＝０．６１で雑音Ｎは約０．８と２ｄＢほどＧ単体より改善する。低圧ナトリウムランプは黄色の589nmの単一輝線であり、高圧ナトリウムランプでも赤が主で白撮像時のＲＧＢの信号電荷比は２：１：０．０５程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０２２５＋４＝４．３８で雑音Ｎは約２．０９と６．４ｄＢほどＧ単体より低下する。演色性を向上させた高演色性高圧ナトリウムランプでも赤と緑が主で白撮像時のＲＧＢの信号電荷比は２：１：０．１程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０２２５＋１．１＝１．４８で雑音Ｎは約１．２２と１．７ｄＢほどＧ単体より低下する。防犯用の青照明では白撮像時のＲＧＢの信号電荷比は０．１２５：１：２程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋５．７６＋０．０２５＝６．１１２５で雑音Ｎは約２．４７と７．９ｄＢほどＧ単体より低下する。感度優先で近赤外感度の高い撮像素子を用い、赤外除去（ＩＲｃｕｔ）フィルタを外した場合は、３２００Ｋ照明で白撮像時のＲＧＢの信号電荷比は２：１：０．１程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０４５＋１．２１＝１．６１５で雑音Ｎは約１．２７と２．１ｄＢほどＧ単体より低下する。
【０００５】
また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰだけでなく、安価な汎用のＦＰＧＡ(Field-Programmable-Gate-Array)でも容易に実現できる様になった。但し、信号処理諧調をなるべく減らさないと回路規模が増大する。肌色などの特定の色相を画素単位で検出し、特定の色相の画素のみ色を補正している（特許文献３参照）。
さらに、ＣＣＤから出力された信号から雑音を除去するＣＤＳ（Correlated-Double-Sampling）と暗電流補正と利得可変増幅回路（Automatic-Gain-Control以下ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog-Digital- Converter）とを内蔵したＡＦＥ（Analog-Front-End）が普及し、ＡＦＥのＡＤＣ階調は従来１０ビットだったが、１２ビットや１４ビットが一般化し、１６ビットも製品化された。ＡＤＣを２２ビットとし、ＡＧＣをＡＤＣの後に配置したＡＦＥも製品化された。
【０００６】
Inter LineＣＣＤ撮像素子（以下ＩＴ−ＣＣＤ）は単価が安い割に感度が高い。さらに、電子増倍型ＣＣＤ撮像素子（Electron-Multiplying-ＣＣＤ以下ＥＭ−ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３５５７９４号公報
【特許文献２】特開２００３−１０２０２１
【特許文献３】特開平９−２４７７０１号公報
【非特許文献】
【０００８】
【非特許文献１】ＴＩ製TC246RGB-B0680 x 500 PIXEL IMPACTRON TM PRIMARY COLOR CCD IMAGE SENSOR SOCS087- DECEMBER 2004 - REVISED MARCH 2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、ＣＣＤ撮像素子から出力される画像信号の感度を向上することである。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するため、赤緑青の色分解光学系と個体撮像素子を３ヶ用いた撮像装置において、白バランス調整で他の色より高い増幅度が必要な色のＭｘＮまたはＭｘＬ（Ｍは２以上の自然数でＮは自然数でＬはＮ以下の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭｘＮＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない色をＭｘＮＣＣＤＣｌｏｃｋ遅延させ、ＭｘＬ加算した色をＭｘ（Ｎ―Ｌ）ＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない色の信号の高周波数成分で補間することを行うことを特徴とする撮像方法である。
【００１１】
また、赤緑青の色分解光学系と個体撮像素子を３ヶ用い緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらした撮像装置において、
白バランス調整で他の色より高い増幅度が必要な青または赤色のＭ（Ｍは２以上の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない色をＭＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない色を交互にした信号の高周波数成分で補間することと、を行うことを特徴とする撮像方法である。
【００１２】
また、赤緑青の色分解光学系と個体撮像素子を３ヶ用い緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらした撮像装置において、
白バランス調整で他の色より高い増幅度が必要な青または赤色のＭ（Ｍは２以上の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない青または赤色をＭＣＣＤＣｌｏｃｋ遅延させ、緑を（Ｍ−１／２）ＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない青または赤色と緑とを交互にした信号の高周波数成分で補間することと、を行うことを特徴とする撮像方法である。
【発明の効果】
【００１３】
上記の様に本発明によれば、ＣＣＤ撮像素子から出力される画像信号の実効感度が向上される。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例の全体構成の撮像装置を示すブロック図
【図２】本発明の一実施例の映像信号処理部の画素補間部を示すブロック図
【図３】本発明の１実施例の各色独立に水平画素加算動作を示す模式図（(a)高演色高圧NaランプでＢのみＭ＝４画素加算  高域はＲＧ補間、(ｂ)B-LEDでＲをＬ＝８、Ｇを４画素加算  高域はＢ補間、(c)高圧NaランプでＢのみＭ＝１６画素加算  高域はＲＧ補間）
【図４】従来技術の動作を示す模式図
【図５】従来技術の全体構成の撮像装置を示すブロック図
【発明を実施するための形態】
【実施例１】
【００１５】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図１を用いて本発明の一実施例の全体構成を説明し、本発明の１実施例の動作を示す模式図の図３を用いて説明し、本発明の一実施例の映像信号処理部の画素補間部を示すブロック図の図２を用いて本発明の一実施例の詳細を説明する。
本発明の一実施例の全体構成の撮像装置を示すブロック図の図１において、１は撮像装置、２は入射光を結像するレンズ等の光学系で３は赤緑青に色分解する色分解光学系、４は撮像装置１内の各部とレンズ２とを制御するＣＰＵ（Central-Processing-Unit）である（ＣＰＵから各部への制御線は図示せず）。
【００１６】
また図１において、６は読出垂直転送駆動部（Ｖ−ＴＧ）で、７と８と９とはＥＭ−ＣＣＤで1６と1７と1８とはＩＴ−ＣＣＤ等のＣＣＤ撮像素子で、７と８と９と２６と２７と２８とは色分解光学系３から入射した赤緑青の各光を電気信号に変換する。１０と１１と１２とはＥＭ−ＣＣＤまたはＣＣＤ撮像素子から出力された信号から雑音を除去するＣＤＳと暗電流補正と信号の利得を調整するＡＧＣとデジタル映像信号Ｖｉに変換するＡＤＣと水平同期発生部（Timing-Generator：ＴＧ）からなるＡＦＥである。但し、ＡＧＣやＴＧがＡＦＥに含まれない構成を用いてもよい。さらに１３，１４，１５はＣＭＧ駆動部であり、１９と２０は水平転送駆動部（Ｈ−ＴＧ）である。
また、赤緑青の色分解光学系と個体撮像素子を３ヶ用い緑の個体撮像素子に対し赤青の個体撮像素子を水平方向に半画素ずらした撮像装置において、
白バランス調整で他の色より高い増幅度が必要な青または赤色のＭ（Ｍは２以上の自然数）の水平画素を加算し、ＣＣＤ駆動パルスを外部同期に対しＭＣＣＤＣｌｏｃｋ（画素に相当）進相させ、加算しない青または赤色をＭＣＣＤＣｌｏｃｋ遅延させ、緑を（Ｍ−１／２）ＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない青または赤色と緑とを交互にした信号の高周波数成分で補間することと、を行うことを特徴とする撮像方法である。
【００１７】
また図１において、１０と１１と１２のＡＦＥから出力された信号に種々の映像処理を施しＮＴＳＣ（National-Television-System-Committee）方式またはＰＡＬ（Phase-Alternating-by-Line）方式の複合映像信号（Video-Burst-Sync以下ＶＢＳ）またはＳＤＩ（Serial-Digital-Interface）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。
【００１８】
本発明の一実施例の全体構成の撮像装置を示すブロック図の図１と、従来技術の全体構成の撮像装置を示すブロック図の図５との相違は、は水平転送駆動部（Ｈ−ＴＧ）１９，２０が追加され、映像信号処理部１に、画素補間部を含むことである。映像信号処理部２４にも独立マスキング用に色相検出部を含む。
【００１９】
本発明の１実施例の各色独立に水平画素加算動作を示す模式図の図３において、(a)高演色高圧NaランプでＢのみＭ＝４画素加算  高域はＲＧ補間、(ｂ)B-LEDでＲをＬ＝８、Ｇを４画素加算  高域はＢ補間、(c)高圧NaランプでＢのみＭ＝１６画素加算  高域はＲＧ補間である。
青の増幅度が必要なら、青をＭ（Ｍは２以上の自然数）画素水平加算し、外部同期に対し、ＭＣＣＤＣｌｏｃｋ（画素に相当）分進相させ、加算しない赤と緑をＭＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない赤と緑を交互にした信号の高周波数成分で補間する。
赤の増幅度が必要なら、赤をＬ（Ｌは２以上の自然数）画素水平加算し、外部同期に対し、ＬＣＣＤＣｌｏｃｋ（画素に相当）分進相させ、加算しない緑と青をＭＣＣＤＣｌｏｃｋ遅延させ、赤緑青の高周波数成分を加算しない青と緑を交互にした信号の高周波数成分で補間する。
【００２０】
赤緑青の色分解光学系と個体撮像素子を３ヶ用いた撮像装置の太陽光下ではておおよそＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂでカラー撮像する撮像装置において、緑と青とに浅いPhoto Diodeで近赤外感度の低い種類のＣＣＤ撮像素子を用い、赤に深いPhoto Diodeで近赤外感度の高い種類のＣＣＤ撮像素子を用いる。
【００２１】
３２００Ｋ照明で白撮像時のＲＧＢの信号電荷比は１：１：０．２５程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０９＋０．１６＝０．６１で雑音Ｎは約０．８と２ｄＢほどＧ単体より改善する。３２００Ｋでも４画素加算すれば、白撮像時のＲＧＢの信号電荷比は１：１：１程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０９＋０．０１２１＝０．４６２１で雑音Ｎは約０．６８と３．４ｄＢほどＧ単体より改善する。つまり通常の水平画素非加算時より１．４ｄＢ輝度信号の信号雑音比つまり実効感度が改善する。
感度優先で近赤外感度の高い撮像素子を用い、赤外除去（ＩＲｃｕｔ）フィルタを外した場合は、３２００Ｋ照明で白撮像時のＲＧＢの信号電荷比は２：１：０．１程度なので、従来は輝度信号の雑音Ｎの二乗は、０．３６＋０．０４５＋１．２１＝１．６１５で雑音Ｎは約１．２７と２．１ｄＢほどＧ単体より低下していた。それに対し、８画素加算すれば、白撮像時のＲＧＢの信号電荷比は２：１：０．８程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０４５＋０．０１８９＝０．４２３９で雑音Ｎは約０．６５と３．７ｄＢほどＧ単体より改善する。つまり通常の水平画素非加算時より５．８ｄＢ輝度信号の信号雑音比つまり実効感度が改善する。
【００２２】
背景技術で述べた様に従来の演色性を向上させた高演色性高圧ナトリウムランプでも赤と緑が主で白撮像時のＲＧＢの信号電荷比は２：１：０．１程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０２２５＋１．１＝１．４８で雑音Ｎは約１．２２と１．７ｄＢほどＧ単体より低下する。青を４画素加算すれば、白撮像時のＲＧＢの信号電荷比は２：１：０．４程度なので、輝度信号の雑音Ｎの二乗は、０．３６＋０．０２２５＋０．０７５６＝０．４５８で雑音Ｎは約０．６７７と３．４ｄＢほどＧ単体より改善する。つまり、通常の水平画素非加算時より５．１ｄＢ輝度信号の信号雑音比つまり実効感度が改善する。
また、青の色信号電荷比が４倍に改善された分、青の増幅度が４倍確保され、雑音の増加を許容できる緊急時の用途に限定されるが、通常の水平画素非加算時より１２ｄＢ緊急時感度が改善する。
【００２３】
青の入射光量が赤の入射光量や緑の入射光量より多いつまり防犯用の青色ＬＥＤ照明等の青色照明の入射光とＡＧＣゲインから判定したら、赤を水平８画素加算すると、高色温度照明で白撮像時のＲＧＢの信号電荷比が０．１２５：１：２⇒１：１：２では、輝度信号の雑音Ｎの二乗は、０．０７８４＋０．０９＋０．１２２５＝０．２９０９で雑音Ｎは約０．５３９と５．４ｄＢほどＧ単体より改善する。
背景技術で述べた様に従来のＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂでは輝度信号の雑音Ｎの二乗は、０．３６＋５．７６＋０．０２５＝６．１１２５で雑音Ｎは約２．４７と７．９ｄＢほどＧ単体より低下する。
つまり、通常の水平画素非加算時より雑音が改善され、１３．３ｄＢ輝度信号の信号雑音比つまり実効感度が増加する。
また、赤の色信号電荷比が８倍に改善された分、青の増幅度が８倍確保され、雑音の増加を許容できる緊急時の用途に限定されるが、通常の水平画素非加算時より１８ｄＢ緊急時感度が改善する。
【００２４】
低圧ナトリウムランプ等の色温度が非常に低く、青を水平１６画素加算すると、白撮像時のＲＧＢの信号電荷比が２：１：０．０５⇒２：１：０．８では、では、輝度信号の雑音Ｎの二乗は、０．０３８＋０．１６＋０．００６４＝０．２０４で雑音Ｎは約０．４５２と６．９ｄＢほどＧ単体より改善する。背景技術で述べた様に従来のＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂでは、輝度信号の雑音Ｎの二乗は、０．３６＋０．０２２５＋４＝４．３８で雑音Ｎは約２．０９と６．４ｄＢほどＧ単体より低下する。つまり、通常の水平画素非加算時より雑音が改善され、１３．３ｄＢ輝度信号の信号雑音比つまり実効感度が増加する。
また、青の色信号電荷比が１６倍に改善された分、青の増幅度が１６倍確保され、雑音の増加を許容できる緊急時の用途に限定されるが、通常の水平画素非加算時より２４ｄＢ緊急時感度が改善する。
【００２５】
Ｈ−ＴＧを非加算の通常水平転送駆動の一つにして、高速論理ＩＣでリセットパルスを間引いて奇数走査線と偶数走査線と交互に緑と赤青と交互に水平ＭＬ画素の信号電荷を加算しても良い。
【００２６】
本発明の一実施例の映像信号処理部の画素補間部を示すブロック図の図２において、３１〜３６はラインメモリ、３７〜４２は偶数画素遅延部、４３〜５０は可変増幅部、５１〜６７は加算器、６８は高域通過濾波器（High-Pass-Filter：ＨＰＦ）、６９〜７１は：低域通過濾波器（Low-Pass-Filter：ＬＰＦ）である。
【００２７】
本発明の一実施例の映像信号処理部の画素補間部を示すブロック図の図２と本発明による画像信号の動作を本発明の１実施例の模式図の図３とにおいて、映像信号処理部５の画素ごとの色相検出の色差レベルに従い連続的に加算平均していくに合わせて赤と緑との合計が１となる様に可変増幅部の増幅度を可変し画素補間していく。
【００２８】
低域通過濾波器（Low-Pass-Filter）と高域通過濾波器（High-Pass-Filter）と加算器とで、補間信号の高周波数成分は補間信号のＲ＋ＧまたはＢ＋Ｇに差し替える。
【００２９】
青の増幅度が必要なら、水平４画素または１６画素の信号電荷を加算することにより、雑音はそのままで、感度は４倍または１６倍になる。また、赤の増幅度が必要なら、水平８画素の信号電荷を加算することにより、雑音はそのままで、感度は８倍になる。
前述の様に、通常の水平画素非加算時より雑音が改善され、実効感度が増加する。また、雑音の増加を許容できる緊急時の用途に限定されるが、通常の水平画素非加算時より信号電荷の加算分だけ緊急時の感度が改善する。
【符号の説明】
【００３０】
１，２１，２２，２３：撮像装置、２：レンズ、３：色分解光学系、４：ＣＰＵ、
５：色相検出部と画素補間部と含む映像信号処理部、
６：読出垂直転送駆動部(Ｖ−ＴＧ）、７，８，９：ＥＭ−ＣＣＤ、
１０，１１，１２：ＡＦＥ、１３，１４，１５：ＣＭＧ駆動部、
１６，１７，１８：ＩＴ−ＣＣＤ、
１９，２０：水平転送駆動部(Ｈ−ＴＧ）、２４：色相検出部含む映像信号処理部、
３１〜３６，８１〜８５：ラインメモリ、３７〜４２：偶数画素遅延部、
４３〜５０，９６〜１０１：可変増幅部、５１〜６７，１０２〜１１７：加算器、
６８：ＨＰＦ、６９〜７１：ＬＰＦ、
８６〜９５：半画素または偶数画素の遅延部、
【図１】
2011217254.tif 000003
【図２】
2011217254.tif 000004
【図３】
2011217254.tif 000005
【図４】
2011217254.tif 000006
【図５】
2011217254.tif 000007