(57)【要約】【課題】飽和画素周辺の各画像信号を固定色の色キャリア信号に挿げ替える機能により、中間コントラストでＣｙ系偽色が多量に発生する問題を解決する。【解決手段】本発明の撮像装置用補正回路は、センサ出力の映像色信号のキャリア潰れを検出する検出手段と、前記検出手段の検出位置を少なくとも１ライン分に渡り位置ステータス信号を記憶する記憶部と、前記記憶部からの前記検出位置ステータス信号を見て飽和画素周辺の前記色画像信号を固定色の色キャリア信号に挿げ替える挿げ替え手段とを有することを特徴とする。【選択図】  図４
2009038730.tif 000002
【特許請求の範囲】
【請求項１】
センサ出力の映像色信号の飽和画素を検出する検出手段と、
前記検出手段による飽和画素の位置を少なくとも１ライン分に渡り位置ステータス信号として記憶する記憶部と、
前記検出手段からの前記飽和を検出した信号および前記記憶部からの前記位置ステータス信号に応じて飽和画素周辺の前記映像色信号を固定色に挿げ替える挿げ替え手段と
を有することを特徴とする撮像装置用補正回路。
【請求項２】
挿げ替え手段は、前記飽和画素とその次の画素をそれぞれの固定色に挿げ替えることを特徴とする請求項１に記載の撮像装置用補正回路。
【請求項３】
挿げ替え手段は、前記検出手段からの信号により前記飽和画素を検出したラインの前記飽和画素とその次の画素を第１および第２の固定色に挿げ替え、前記記憶部からの信号により次のラインの前記飽和画素とその次の画素に対応する位置の画素を第３および第４の固定色に挿げ替えることを特徴とする請求項１に記載の撮像装置用補正回路。
【請求項４】
２Ｒ−Ｇラインと２Ｂ−Ｇラインの単位で色復調を行う色差線順次方式の画像信号処理装置において、
センサ出力からの映像色信号の飽和画素を検出する飽和検出手段と、
前記飽和検出手段から出力される飽和信号を位置ステータス信号として記憶するラインメモリと、
前記センサ出力からの低感度画像データ、２Ｂ−Ｇ系上側を示す第１の振幅値、２Ｂ−Ｇ下側を示す第２の振幅値、および２Ｒ−Ｇ下側を示す第３の振幅値が低感度画像信号として少なくとも入力され、前記飽和信号、前記ラインメモリから読み出された前記位置ステータス信号、低感度画像の２Ｂ−Ｇラインおよび２Ｒ−Ｇラインを示す信号、偶数画素／奇数画素を示す信号に基づき前記低感度画像信号のいずれか１つを選択出力する低感度画像出力手段と、
低感度画像又は高感度画像の取り込みを示す信号により前記低感度画像出力手段からの前記低感度画像信号又は前記センサ出力からの高感度画像信号を選択出力する選択手段と
を具備することを特徴とする撮像装置用補正回路。
【請求項５】
前記低感度画像の２Ｂ−Ｇラインを示す信号、前記偶数画素を示す信号、および前記位置ステータス信号が有効である時、前記低感度画像出力手段から前記第１の振幅値が前記低感度画像信号として選択出力されることを特徴とする請求項４に記載の撮像装置用補正回路。
【請求項６】
前記低感度画像の２Ｂ−Ｇラインを示す信号、前記奇数画素を示す信号、および前記位置ステータス信号が有効である時、前記低感度画像出力手段から前記第２の振幅値が前記低感度画像信号として選択出力されることを特徴とする請求項４に記載の撮像装置用補正回路。
【請求項７】
前記低感度画像の２Ｒ−Ｇラインを示す信号、前記偶数画素を示す信号、および前記飽和信号が有効である時、前記低感度画像出力手段から前記第３の振幅値が前記低感度画像信号として選択出力されることを特徴とする請求項４に記載の撮像装置用補正回路。
【請求項８】
前記低感度画像の２Ｒ−Ｇラインを示す信号、前記奇数画素を示す信号、および前記飽和信号が有効である時、前記低感度画像出力手段から前記低感度画像データが前記低感度画像信号として選択出力されることを特徴とする請求項４に記載の撮像装置用補正回路。
【請求項９】
２Ｒ−Ｇラインと２Ｂ−Ｇラインの単位で色復調を行う色差線順次方式の画像信号を処理しり画像補正プログラムであって、
低速画像期間のセンサ出力である前記２Ｒ−Ｇラインの尖頭値振幅を常時監視し、１画素でも飽和（クリップ）したら当該画素信号と次画素信号の振幅を飽和直前の正規信号値（白色信号）に挿げ替える機能と、
前記飽和した画素信号の水平画素位置と前記次画素信号の水平画素位置をラインメモリに記憶させる機能と、
次のラインである前記２Ｂ−Ｇラインの信号についても、前記ラインメモリから出力される前記水平画素位置で指定される画素信号を前記飽和直前の正規信号に挿げ替える機能と
を有することを特徴とする撮像装置の画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置によって撮影した画像の撮像装置用補正回路、撮像装置用補正回路を備えた撮像装置および画像補正プログラムに関する。
【背景技術】
【０００２】
色差線順次方式のカメラ信号処理において、センサＲＡＷデータにて低速シャッタ画像と高速シャッタ画像を加算すると、シアンＣｙと輝度横縞の映像になる。ここでは、入出力信号の前提は、例えば１０（ｂｉｔ）ストレートバイナリとする。
【０００３】
まず、本質的にシアンＣｙと輝度横縞の発生原因を明らかにする。
【０００４】
図８は、色温度４５００Ｋの白色被写体において、飽和直前のＣＣＤセンサ出力波形を示している。図８の２Ｒ−Ｇ系信号および２Ｂ−Ｇ系信号は、白色被写体をカメラで撮影し、ローパスフィルタ（ＬＰＦ）を掛けて生成した輝度信号である。図中、実線の波形は色搬送波の生データであり、中央の一点鎖線はローパスフィルタを掛けた信号である。
【０００５】
通常、色差線順次方式のセンサ出力（ここでは、センサ入出力信号は、例えば１０（ｂｉｔ）ストレートバイナリである）は、白色被写体でも色搬送波信号を有している。特に、図８の左図の２Ｒ−Ｇ系信号（青系）と右図の２Ｂ−Ｇ系信号（赤系）を比較すると、左図の２Ｒ−Ｇ系信号の色搬送波成分（キャリア振幅）が大きくなっている点の特徴が見られる。従って、青系の強彩度被写体を撮像しない限り、その多くが２Ｒ−Ｇ系信号から飽和（潰れ）する傾向にある。
【０００６】
次に、図９は、同じく色温度４５００Ｋの白色被写体において、飽和開始時のＣＣＤセンサ出力波形（色信号）を示している。この図９から明らかなように、飽和の開始は信号尖頭値である２Ｒ−Ｇ系の色搬送波信号の尖頭部（ピーク）から始まる。この影響は、信号処理の中段で復調された２Ｒ−Ｇ信号において、Ｒ成分が低下（潰れ）したことに起因する。他方、２Ｂ−Ｇ系信号では飽和が始まっていない。この状況下でＲＧＢデコードした場合、Ｒ信号だけが振幅低下を引き起し、結果的にＧ＋Ｂ信号が中心的なカラーバランスとなりＣｙ色になってしまう。そして、２Ｒ−Ｇ系と２Ｂ−Ｇ系のキャリア信号の平均値（Ｙ）に段差が生じるため、ライン単位で横縞が発生することになる。
【０００７】
次に、図１０は、同じく色温度４５００Ｋの白色被写体において、飽和開始時のＣＣＤセンサ輝度信号レベル波形を示している。この図１０から明らかなように、後段の輝度信号デコード処理では、この信号の中心が概ね輝度信号となり、色搬送波の飽和によって２Ｒ−Ｇ系信号と２Ｂ−Ｇ系信号を比較すると輝度レベルに差を生じてしまう。すなわち、色搬送波振幅の大きい２Ｒ−Ｇ系信号は２Ｂ−Ｇ系信号よりも輝度レベルの低下が大きくなる。最終輝度信号は、２Ｒ−Ｇ系信号／２Ｂ−Ｇ系信号のラインインターリーブ信号をＲＧＢ復調回路を介して輝度変換を行って生成するため、このライン単位の振幅差は輝度の横縞になってしまう。
【０００８】
次に、図１１は、同じく色温度４５００Ｋの白色被写体において、ＷＤＲ（ワイドダイナミックレンジ）合成時の信号波形を示している。ＷＤＲ時では２枚の画像データを圧縮して合成している。この時、図１１（ａ）に示す低速シャッタ画像の２Ｒ−Ｇ系信号が飽和しかけている場合、上述した要因からシアンＣｙと輝度横縞を発生する。一方、図１１（ｂ）に示す高速シャッタ画像の２Ｒ−Ｇ系信号では飽和することはない。そして、図１１（ｃ）に示す２つの信号の合成画像の２Ｒ−Ｇ信号では、同画像が圧縮されるために前記飽和値は中間階調部に位置する。従って、この中間階調レベルでＣｙ色と横縞を生じてしまう。
【０００９】
次に、完全に信号が飽和した時だが、この場合“２Ｒ−Ｇ”“２Ｂ−Ｇ”共に直線状にクリップする。この時も通常カメラもシアンＣｙになるが、一般にはＲＧＢデコード後に“Ｋｎｅｅ補正”及び“高輝度彩度圧縮処理”等の処理を行うため、高輝度での色付きを極めて低く白色となる。更に、“Ｋｎｅｅ補正”は各ライン間で輝度振幅差を圧縮するため横縞問題も著しく低減する。以上の様に通常カメラでは信号飽和が高輝度にあるため前記問題が低減されている。
【００１０】
しかしながら、ＷＤＲ（ワイドダイナミックレンジ）ビデオカメラでは、この飽和レベルが重み付け加算よって６０％前後に圧縮され、先に説明した“Ｋｎｅｅ補正”及び“高輝度彩度圧縮処理”の効果が期待できない。この場合、強いＣｙ色成分を持った偽色信号と横縞が発生することになる。低速・高速シャッタ画像を加算する広ダイナミックレンジ拡大では、多くの被写体シーンで低速シャッタ画像が飽和することになる。図１１に示すとおり、この飽和した信号上に高速シャッタ画像の信号を重畳させるが、低速シャッタ画像の多くの信号は飽和を伴うため、この部分の信号はシアンＣｙの偽色成分を持っている。
【００１１】
従って、合成画像の信号は、低速シャッタ画像の飽和エリアにおいて、高速シャッタ画像の正規色信号と合成されＣｙ方向に色位相回りを起こす。よって合成画像においても低速シャッタ画像の飽和エリアはＣｙ色の色相になってしまう。
【００１２】
このようなＣｙ色の横縞を補正する技術として、飽和部白色補正回路で輝度飽和部（カラーバランスが崩れているエリア）を検出し、適正なカラーバランスを保つように映像信号を補正することで、輝度飽和部の白色現象による違和感を軽減する撮像装置用信号処理回路を提供するものがある（例えば、特許文献１参照。）。
【００１３】
また、他の技術として、ＣＣＤの出力信号がデジタル信号に変換された後、偽信号低減回路に供給され、偽信号低減回路が隣接画素の出力色成分同士の比較から、偽色を発生させる出力色成分を検出すると、そのレベルを低くして信号処理回路のマトリクス演算における偽色発生を防止するものがある（例えば、特許文献２参照。）。
【特許文献１】特開２００３−２０９８５０号公報
【特許文献２】特開２００６−１５７４３７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は、特許文献１，２を更に改善し、飽和画素周辺の各画像信号を固定色の色キャリア信号に挿げ替える機能により、中間コントラストでＣｙ系偽色が多量に発生する問題を解決する撮像装置用補正回路、撮像装置用補正回路を備えた撮像装置および画像補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために本発明の撮像装置用補正回路は、センサ出力の映像色信号の飽和画素を検出する検出手段と、前記検出手段による飽和画素の位置を少なくとも１ライン分に渡り位置ステータス信号として記憶する記憶部と、前記検出手段からの前記飽和を検出した信号および前記記憶部からの前記位置ステータス信号に応じて飽和画素周辺の前記映像色信号を固定色に挿げ替える挿げ替え手段とを有することを特徴とする。
【００１６】
また、本発明の撮像装置用補正回路は、２Ｒ−Ｇラインと２Ｂ−Ｇラインの単位で色復調を行う色差線順次方式の画像信号処理装置において、センサ出力からの映像色信号の飽和画素を検出する飽和検出手段と、前記飽和検出手段から出力される飽和信号を位置ステータス信号として記憶するラインメモリと、前記センサ出力からの低感度画像データ、２Ｂ−Ｇ系上側を示す第１の振幅値、２Ｂ−Ｇ下側を示す第２の振幅値、および２Ｒ−Ｇ下側を示す第３の振幅値が低感度画像信号として少なくとも入力され、前記飽和信号、前記ラインメモリから読み出された前記位置ステータス信号、低感度画像の２Ｂ−Ｇラインおよび２Ｒ−Ｇラインを示す信号、偶数画素／奇数画素を示す信号に基づき前記低感度画像信号のいずれか１つを選択出力する低感度画像出力手段と、低感度画像又は高感度画像の取り込みを示す信号により前記低感度画像出力手段からの前記低感度画像信号又は前記センサ出力からの高感度画像信号を選択出力する選択手段とを具備することを特徴とする。
【００１７】
また、本発明の撮像装置の補正プログラムは、２Ｒ−Ｇラインと２Ｂ−Ｇラインの単位で色復調を行う色差線順次方式の画像信号を処理しり画像補正プログラムであって、低速画像期間のセンサ出力である前記２Ｒ−Ｇラインの尖頭値振幅を常時監視し、１画素でも飽和（クリップ）したら当該画素信号と次画素信号の振幅を飽和直前の正規信号値（白色信号）に挿げ替える機能と、前記飽和した画素信号の水平画素位置と前記次画素信号の水平画素位置をラインメモリに記憶させる機能と、次のラインである前記２Ｂ−Ｇラインの信号についても、前記ラインメモリから出力される前記水平画素位置で指定される画素信号を前記飽和直前の正規信号に挿げ替える機能とを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、飽和画素周辺の各画像信号を固定色の色キャリア信号に挿げ替える機能により、中間コントラストでＣｙ系偽色が多量に発生する問題を解決することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態に係る撮像装置用補正回路、撮像用信号補正処理方法およびプログラムを説明する。
【００２０】
先ず、本発明の実施形態に係る撮像装置用補正回路によって処理されるＣｙ色の横縞を補正するアルゴリズムについて、図１のフローチャートを参照して説明する。
【００２１】
上述したＣｙ色の横縞の発生は、低速シャッタ画像の飽和における色搬送波飽和（潰れ）が問題になるため、同シャッタ画像で２Ｒ−Ｇ信号の飽和を検出し、積極的に白色化を進めるものである。以下に説明する補正処理は、色差線順次方式のセンサ出力において低速画像期間のみに適用される。
【００２２】
具体的な補正手順は次の通りである。
【００２３】
第１ステップとして、常時低速画像期間（ｎライン）のセンサ出力である２Ｒ−Ｇ信号の尖頭値振幅を監視し（ステップＳ１００）、１画素でも飽和（クリップ）したら（ステップＳ１１０のＹｅｓ）、当該飽和している例えば偶数画素（２Ｒ−Ｇ）信号と次の奇数画素（２Ｒ−Ｇ）信号の振幅を“飽和直前の正規信号値（白色信号：固定値）”に挿げ替える（ステップＳ１２０、Ｓ１３０）。飽和した偶数画素（２Ｒ−Ｇ）信号の次のビットである奇数画素（２Ｒ−Ｇ）信号も挿げ替える理由は、色搬送波が正弦波を呈しているためである。
【００２４】
第２ステップとして、この飽和した偶数画素（２Ｒ−Ｇ）信号の水平画素位置(アドレス)と次の奇数画素（２Ｒ−Ｇ）信号の水平画素位置（アドレス）とをラインメモリに記憶する（ステップＳ１４０）。なお、ステップＳ１１０で飽和が検出されなければ、２Ｒ−Ｇ系信号をそのままスループットして出力する（ステップＳ１７０）。ステップＳ１４０又はＳ１７０の処理後、ステップＳ１５０，Ｓ１６０を経由して次の画素の飽和を検出する。
【００２５】
第３ステップとして、次のｎ＋１ラインである２Ｂ−Ｇラインの信号についても、先にラインメモリに記憶させておいた水平画素位置（２Ｒ−Ｇでクリップした位置）に対応する位置において、２Ｂ−Ｇでの“飽和直前の正規信号”に挿げ替える。また、飽和が検出されなければ、２Ｂ−Ｇ系信号をそのままスループットして出力する（ステップＳ１８０）。そして、最初の２ラインの監視が終了すると、ステップＳ１９０、Ｓ２００を経て次の２ラインのチェックを行う。そして、全ラインの監視が終了するまで、この動作を繰り返し実行する。そして、上述した処理ステップを投入することで、前述した問題を回避することができる。
【００２６】
ここで、挿げ替え信号は、白色化を前提とするため、色搬送波として白色の成分を持ったキャリアで補正する必要がある。また、色差線順次方式の色復調が２Ｒ−Ｇ信号／２Ｂ−Ｇ信号の２ラインをペアとして色復調するため、２Ｒ−Ｇ信号を補正したら２Ｂ−Ｇ信号も補正し、必ず２ライン同時に処理する。
【００２７】
このアルゴリズムを適用することで、画像合成時において発生する低速シャッタ画像飽和時のＣｙ色・横縞発生が解消される。
【００２８】
次に、Ｃｙ補正処理の入出力特性について説明する。
【００２９】
図２は、入力信号に水平ランプ波形を入力したときの、通常信号波形とＣｙ補正アルゴリズムを適用した時の波形である。
【００３０】
まず、通常信号波形は、図２の左図で示した形状を形成するが、上記アルゴリズムを適用すると図２の右図のよう挿げ替えられる。図２の「（ａ−１）通常の２Ｒ−Ｇ信号」では、色搬送波が飽和したＡ点から映像色信号の情報が欠落し始め、Ｃｙ色に色位相が回り始める。図中のハッチングされたエリアは、色位相回りを発生している期間である。同時に、擬似輝度レベルについても線形性を失い、非線形領域に入る（Ａ点から先の破線部分）。
【００３１】
一方、図２の「（ａ−２）補正処理適用時の２Ｒ−Ｇ信号」では、Ａ点を境に色搬送波振幅や擬似輝度レベルは一定となり、白色飽和信号へと遷移する。この２Ｒ−Ｇ信号の次ライン(２Ｂ−Ｇ信号)についても、図２の「（ｂ−１）通常の２Ｂ−Ｇ信号」から図２の「（ｂ−２）補正処理適用時の２Ｂ−Ｇ信号」に示す通りに、２Ｒ−Ｇ信号のクリップに呼応して補正処理がなされるため、色搬送波振幅や擬似輝度レベルは一定となる。この補正された（白色化済み）信号を用いてＷＤＲ加算処理を行えば、Ｃｙ色や横縞が発生しないシステムが構築できる。
【００３２】
ここで、補正状態へ遷移させるのは図２の「（ｂ−１）通常の２Ｂ−Ｇ信号」のＢ点ではなく、図２の「（ｂ−２）補正処理適用時の２Ｂ−Ｇ信号」に示す通り、あくまでもＡ点である点に注意されたい。即ち、Ｂ点は、単に２Ｂ−Ｇ信号の非線形状態への変化点である。また、高速シャッタ画像であるＢフィールドについては、通常の「後段Ｃｙ・横縞補正」が掛かるため、本補正は適用外となる。
【００３３】
次に、本発明の実施形態に係る撮像装置および撮像装置用補正回路について、図３乃至図７を参照して説明する。
【００３４】
図３は、実施形態に係る撮像装置の構成を示すブロック図である。図４は撮像装置用補正回路（Ｃｙ補正）を示すブロック図である。また、図５は撮像装置用補正回路における信号処理の状態遷移表を示す。図６は、撮像装置用補正回路のタイミングチャートである。図７は、撮像装置用補正回路のインディクス信号の論理値を示す。
【００３５】
図３において、撮像装置は、少なくとも補色系センサ１０、撮像装置用補正回路（Ｃｙ補正）２０、１Ｖ遅延メモリ３０、メモリコントローラ４０、マルチプレクサＭＰＸ５０，６０、合成回路７０、カメラ信号処理部８０、ピクセルカウンタ９０、タイミングジェネレータ１００等を備えている。この内、撮像装置用補正回路（Ｃｙ補正）２０、１Ｖ遅延メモリ３０、メモリコントローラ４０、マルチプレクサＭＰＸ５０，６０、合成回路７０によって２画面合成処理部を構成する。
【００３６】
ビデオカメラによって撮影されて画像信号は、補色系センサ１０によって各画素の色信号成分が生成され出力される。補色系センサ１０は、例えば色差線順次方式のセンサである。色差線順次方式の色フィルタについては、上述の特許文献２に示されるものであるためその説明は省略する。
【００３７】
補色系センサ１０から色信号成分の出力信号は、撮像装置用補正回路（Ｃｙ補正）２０によって色補正される。この撮像装置用補正回路（Ｃｙ補正）２０については、図４を参照して詳細に説明する。
【００３８】
撮像装置用補正回路（Ｃｙ補正）２０によって色補正された信号は、直接マルチプレクサ５０，６０に入力されるものと、１Ｖ遅延メモリ３０を介してマルチプレクサ５０，６０に入力されるものとに分かれる。１Ｖ遅延メモリ３０は、メモリコントローラ４０にとって読み出し制御又は書き込み制御が行われる。
【００３９】
マルチプレクサ５０は、タイミングジェネレータ１００からのタイミング信号に応じてＡフィールド信号（低速シャッタ画像）のみを選択して、合成回路７０に出力する。同様にして、マルチプレクサ６０は、タイミングジェネレータ１００からのタイミング信号に応じてＢフィールド信号（高速シャッタ画像）のみを選択して、合成回路７０に出力する。そして、合成回路７０によって合成された映像信号は、カメラ信号処理部（ＤＳＰ）８０に出力される。なお、マルチプレクサ５０，６０と合成回路７０との間に、非線形処理部やＡＧＣ回路等を設けて信号抽出やゲイン調整を行っても良い。
【００４０】
補色系センサ１０、２画像合成処理部、およびカメラ信号処理部８０は、ピクセルカウンタ９０に同期して動作するタイミングジェネレータ１００からのタイミング信号ＦＩ，ＬＩ，ＣＳが供給されており、そのタイミング信号に同期して動作する。
【００４１】
そして、タイミングジェネレータ１００は、ＣＳ（画素インデックス）信号、ＬＩ（ラインインディクス）信号、およびＦＩ（フィールドインディクス）信号を出力する。ＣＳ信号は、例えば偶数画素の時に“１”となり、奇数画素の時に“０”となる信号である。ＬＩ信号は、例えばＡフィールド（低速シャッタ画像）で２Ｂ−Ｇ（偶数ライン）であるとき“１”となり、２Ｒ−Ｇ（奇数ライン）であるとき“０”となる信号である。またＬＩ信号は、例えばＢフィールド（高速シャッタ画像）で２Ｂ−Ｇ（偶数ライン）であるとき“０”となり、２Ｒ−Ｇ（奇数ライン）であるとき“１”となる信号である。ＦＩ信号は、例えばＡフィールドであるとき“１”となり、Ｂフィールドであるとき“０”となる信号である。なお、これらの論理値が適宜変更しても構わない。
【００４２】
次に、図４を参照して撮像装置用補正回路（Ｃｙ補正）２０について説明する。
【００４３】
撮像装置用補正回路（Ｃｙ補正）２０は、クリップ検出回路２０１，２０３、遅延回路２０２、ＯＲゲート回路２０４、１ラインメモリ２０５、加算回路２０６、ゲート回路２０７ａ〜２０７ｈ、デコーダ２０８、低速シャッタ画像出力回路２０９、マルチプレクサ２１０等によって構成されている。
【００４４】
補色系センサ１０からインターリーブされた最初の２Ｒ−Ｇデータの、１行目カラム１をスタートとする１０ビットのデータ（ＤＡＴＡ−ＩＮ）が順次クリップ検出回路２０１に入力されると共に、遅延回路２０２を介してクリップ検出回路２０３に入力される。クリップ検出回路２０１，２０３は、２Ｒ-Ｇデータ又は２Ｂ−Ｇデータの飽和（クリップ）／非飽和を検出するもので、オール“１”を検出すると飽和信号“１”を、オール“１”以外のデータであれば非飽和信号“０”を出力し、ＯＲゲート回路２０４を介して１ラインメモリ２０５に出力する。
【００４５】
１ラインメモリ２０５は、水平ライン総画素（有効エリア＋ブランキングエリア）を記憶する容量（ここでは、６０６＋１段）を有し、補色系センサ１０の読み出し位置（アドレス）を指定するピクセルカウンタ９０の１０ビットが加算回路２０６を介して供給されており、またタイミングジェネレータ１００からＬＩ信号がライトイネーブル信号ＷＥｎとして供給されている。これにより、１ラインメモリ２０５の各カラム位置にクリップ検出回路２０１，２０３から出力される飽和／非飽和信号が順次記憶される。なお、１ラインメモリ２０５の書込みアドレス及び読み出しアドレスは、加算回路２０６によってクロックに同期して更新されている。
【００４６】
また、ＯＲゲート回路２０４から出力される飽和信号Ｓｔ−ａは、ゲート回路２０７ｃ，２０７ｄ，２０７ｅ、２０７ｆに出力されている。さらに、インターリーブされる次の２Ｂ−Ｇ信号がＤＡＴＡ−ＩＮされる時に、１ラインメモリ２０５に記憶される飽和／非飽和信号Ｓｔ−ｂは、ピクセルカウンタ９０からのアドレス信号に基づいて読み出され、ゲート回路２０７ａ，２０７ｂ，２０７ｇ，２０７ｈに入力されている。
【００４７】
低速シャッタ画像出力回路２０９には、データ（ＤＡＴＡ−ＩＮ）が供給される第４入力乃至第６入力と、予め設定した３つの固定値に挿げ替えるための第１乃至第３入力が設けられている。即ち、第１入力には、例えば固定値９７０（例えば、０〜１０２３（１０ビット）のレンジで設定した最適な輝度振幅値）が与えられており、２Ｂ−Ｇ上側の波長信号を挿げ替える信号が設定されている。また、第２入力には、例えば固定値９３０（例えば、０〜１０２３のレンジで設定した最適な輝度振幅値）が与えられており、２Ｂ−Ｇ下側の波長信号を挿げ替える信号が設定されている。また、第３入力には、例えば固定値８３０（例えば、０〜１０２３のレンジで設定した最適な輝度振幅値）が与えられており、２Ｒ−Ｇ下側の波長信号を挿げ替える信号が設定されている。なお、第４入力は、２Ｒ−Ｇ上側のデータ（ＤＡＴＡ−ＩＮ）がそのまま与えられており、結果的に輝度振幅値のＬＳＢ（１０２２）が入力されることになる。更に、第５入力にはデータ（ＤＴＡＴ−ＩＮ）がそのまま入力されており、２Ｒ−Ｇ系の信号がそのままスループット出力するよう設定されている。同様に、第６入力には２Ｂ−Ｇ系の信号がそのままスループット出力するよう設定されている。
【００４８】
ゲート回路２０７ａ乃至２０７ｈは、デコーダ２０８の入力信号を生成する回路である。デコーダ２０８は、低速シャッタ画像出力回路２０９に入力されるデータ（ＤＡＴＡ−ＩＮ）又は挿げ替え信号（複数の低速シャッタ輝度値）を選択するための信号を出力するものであるから、このゲート回路２０７ａ乃至２０７ｈの出力信号が複数の低速シャッタ輝度信号を選択する条件でもある。
【００４９】
ゲート回路２０７ａは、タイミングジェネレータ１００からのＣＳ信号の反転信号、ＬＩ信号、ＦＩ信号、１ラインメモリ２０５から読み出された飽和信号Ｓｔ−ｂが入力されている。つまり、奇数画素（ＣＳ信号“０”の反転）、偶数ライン２Ｂ−Ｇ（ＬＩ信号“０”の反転）、Ａフィールド（ＦＩ信号が“１”）、１ラインメモリ２０５からの飽和信号Ｓｔ−ｂが“１”であるとき、ゲート回路２０７ａは“１”を出力する。このゲート回路２０７ａから“１”が出力される時は、Ａフィールドの偶数ライン（２Ｂ−Ｇ）で、かつ１ライン前の奇数画素で飽和した場合であり、デコーダ２０８によって低速シャッタ画像出力回路２０９から固定値９７０（２Ｂ−Ｇ上側の輝度振幅値）が選択出力される。ゲート回路２０７ａから“１”が出力される時、他のゲート回路２０７ｂ〜２０７ｈからは“０”が出力される。
【００５０】
ゲート回路２０７ｂは、タイミングジェネレータ１００からのＣＳ信号、ＬＩ信号、ＦＩ信号、１ラインメモリ２０５から読み出された飽和信号Ｓｔ−ｂが入力されている。つまり、偶数画素（ＣＳ信号が“１”）、偶数ライン２Ｂ−Ｇ（ＬＩ信号が“１”）、Ａフィールド（ＦＩ信号が“１”）、１ラインメモリ２０５からの飽和信号Ｓｔ−ｂが“１”であるとき、ゲート回路２０７ｂは“１”を出力する。このゲート回路２０７ｂから“１”が出力される時は、Ａフィールドの偶数ライン（２Ｂ−Ｇ）で、かつ１ライン前の偶数画素で飽和した場合であり、デコーダ２０８によって低速シャッタ画像出力回路２０９から固定値９３０（２Ｂ−Ｇ下側の輝度振幅値）が選択出力される。ゲート回路２０７ｂから“１”が出力される時、他のゲート回路２０７ａ、２０７ｃ〜２０７ｈからは“０”が出力される。
【００５１】
ゲート回路２０７ｃは、タイミングジェネレータ１００からのＣＳ信号、ＬＩ信号の反転信号、ＦＩ信号、ＯＲゲート回路２０４からの飽和ステータス信号Ｓｔ−ａが入力されている。つまり、偶数画素（ＣＳ信号が“１”）、奇数ライン２Ｒ−Ｇ（ＬＩ信号“０”の反転信号）、Ａフィールド（ＦＩ信号が“１”）、ＯＲゲート回路２０４からの飽和ステータス信号Ｓｔ−ａが“１”であるとき、ゲート回路２０７ｃは“１”を出力する。このゲート回路２０７ｃから“１”が出力される時は、Ａフィールドの奇数ライン（２Ｒ−Ｇ）で、かつ偶数画素で飽和した場合であり、デコーダ２０８によって低速シャッタ画像出力回路２０９から固定値８３０（２Ｒ−Ｇ下側の輝度振幅値）が選択出力される。ゲート回路２０７ｃから“１”が出力される時、他のゲート回路２０７ａ，２０７ｂ，２０７ｄ〜２０７ｈからは“０”が出力される。
【００５２】
ゲート回路２０７ｄは、タイミングジェネレータ１００からのＣＳ信号の反転信号、ＬＩ信号の反転信号、ＦＩ信号、ＯＲゲート回路２０４からの飽和ステータス信号Ｓｔ−ａが入力されている。つまり、奇数画素（ＣＳ信号“０”の反転信号）、奇数ライン２Ｒ−Ｇ（ＬＩ信号“０”の反転信号）、Ａフィールド（ＦＩ信号が“１”）、ＯＲゲート回路２０４からの飽和ステータス信号Ｓｔ−ａが“１”であるとき、ゲート回路２０７ｄは“１”を出力する。このゲート回路２０７ｄから“１”が出力される時は、補正処理の無効とする信号となり、デコーダ２０８によって低速シャッタ画像出力回路２０９からＤＡＴＡ−ＩＮ（２Ｒ−Ｇ上側の輝度振幅値）がそのまま選択出力される。ゲート回路２０７ｄから“１”が出力される時、他のゲート回路２０７ａ〜２０７ｃ，２０７ｅ〜２０７ｈからは“０”が出力される。
【００５３】
ゲート回路２０７ｅは、タイミングジェネレータ１００からのＣＳ信号の反転、ＬＩ信号の反転信号、ＦＩ信号、ＯＲゲート回路２０４からの飽和ステータス信号Ｓｔ−ａの反転信号が入力されている。つまり、奇数画素（ＣＳ信号が“０”の反転）、奇数ライン２Ｒ−Ｇ（ＬＩ信号が“１”）、Ａフィールド（ＦＩ信号が“１”）であるときで、かつ飽和が検出されないとき（飽和ステータス信号Ｓｔ−ａが“０”の反転）、ゲート回路２０７ｅは“１”を出力する。このゲート回路２０７ｅから“１”が出力される時は、デコーダ２０８によって低速シャッタ画像出力回路２０９からＤＡＴＡ−ＩＮ（２Ｒ−Ｇ上側の輝度振幅値）がそのまま選択出力（２Ｒ−Ｇ系スループット）される。ゲート回路２０７ｅから“１”が出力される時、他のゲート回路２０７ａ〜２０７ｄ、ゲート回路２０７ｆ〜２０７ｈからは“０”が出力される。
【００５４】
ゲート回路２０７ｆは、タイミングジェネレータ１００からのＣＳ信号、ＬＩ信号の反転信号、ＦＩ信号、ＯＲゲート回路２０４からの飽和ステータス信号Ｓｔ−ａの反転信号が入力されている。つまり、偶数画素（ＣＳ信号が“１”）、奇数ライン２Ｒ−Ｇ（ＬＩ信号“０”の反転信号）、Ａフィールド（ＦＩ信号が“１”）であるときで、かつ飽和が検出されないとき（飽和ステータス信号Ｓｔ−ａ“０”の反転信号）、ゲート回路２０７ｆは“１”を出力する。このゲート回路２０７ｆから“１”が出力される時は、デコーダ２０８によって低速シャッタ画像出力回路２０９からＤＡＴＡ−ＩＮ（２Ｒ−Ｇ下側の輝度振幅値）がそのまま選択出力（２Ｒ−Ｇ系スループット）される。ゲート回路２０７ｆから“１”が出力される時、他のゲート回路２０７ａ〜２０７ｅ、ゲート回路２０７ｇ，２０７ｈからは“０”が出力される。
【００５５】
ゲート回路２０７ｇは、タイミングジェネレータ１００からのＣＳ信号の反転信号、ＬＩ信号、ＦＩ信号、１ラインメモリ２０５から読み出された飽和信号Ｓｔ−ｂの反転信号が入力されている。つまり、奇数画素（ＣＳ信号“０”の反転信号）、偶数ライン２Ｂ−Ｇ（ＬＩ信号が“１”）、Ａフィールド（ＦＩ信号が“１”）であるときで、かつ１ライン前の奇数画素で飽和が検出されないとき（飽和ステータス信号Ｓｔ−ｂ“０”の反転信号）、ゲート回路２０７ｆは“１”を出力する。このゲート回路２０７ｆから“１”が出力される時は、デコーダ２０８によって低速シャッタ画像出力回路２０９からＤＡＴＡ−ＩＮ（２Ｂ−Ｇ上側の輝度振幅値）がそのまま選択出力（２Ｂ−Ｇ系スループット）される。ゲート回路２０７ｆから“１”が出力される時、他のゲート回路２０７ａ〜２０７ｆ、ゲート回路２０７ｈからは“０”が出力される。
【００５６】
ゲート回路２０７ｈは、タイミングジェネレータ１００からのＣＳ信号、ＬＩ信号、ＦＩ信号、１ラインメモリ２０５から読み出された飽和信号Ｓｔ−ｂの反転信号が入力されている。つまり、偶数画素（ＣＳ信号が“１”）、偶数ラインが２Ｂ−Ｇ（ＬＩ信号が“１”）、Ａフィールド（ＦＩ信号が“１”）であるときで、かつ１ライン前の奇数画素で飽和が検出されないとき（飽和ステータス信号Ｓｔ−ｂ”０”の反転信号）、ゲート回路２０７ｈは“１”を出力する。このゲート回路２０７ｈから“１”が出力される時は、デコーダ２０８によって低速シャッタ画像出力回路２０９からＤＡＴＡ−ＩＮ（２Ｂ−Ｇ上側の輝度振幅値）がそのまま選択出力（２Ｂ−Ｇ系スループット）される。ゲート回路２０７ｈから“１”が出力される時、他のゲート回路２０７ａ〜２０７ｇからは“０”が出力される。
【００５７】
デコーダ２０８は、ゲート回路２０７ａがアクティブ“１”であるときの入力信号（０００００１）に対して信号“０００”を出力し、ゲート回路２０７ｂがアクティブ“１”であるときの入力信号（００００１０）に対して信号“００１”を出力し、ゲート回路２０７ｃがアクティブ“１”であるときの入力信号（０００１００）に対して信号“０１０”を出力し、ゲート回路２０７ｄがアクティブ“１”であるときの入力信号（００１０００）に対して信号“０１１”を出力し、ゲート回路２０７ｅ又は２０７ｆがアクティブ“１”であるときの入力信号（０１００００）に対して信号“１００”を出力し、ゲート回路２０７ｇ又は２０７ｈがアクティブ“１”であるときの入力信号（１０００００）に対して信号“１０１”を出力する。ただし、ゲート回路２０７ｅと２０７ｆは共通ビットとし、２０７ｇと２０７ｈも共通ビットして取り扱っている。
【００５８】
低速シャッタ画像出力回路２０９は、デコーダ２０８の出力信号に応じ複数の入力データのいずれかを選択して、低速シャッタ画像信号を出力するものである。即ち、デコーダ２０８からの信号が“０００”であるとき第１入力（輝度振幅値９７０）を選択出力する。デコーダ２０８からの信号が“００１”であるとき第２入力（振幅値９３０）を選択出力する。デコーダ２０８からの信号が“０１０”であるとき第３入力（振幅値８３０）を選択出力する。デコーダ２０８からの信号“０１１”であるとき第４入力（ＤＡＴＡ−ＩＮ）をそのまま輝度振幅値として選択出力する。同様に、デコーダ２０８からの信号“１００”であるとき第５入力（ＤＡＴＡ−ＩＮ）を、信号“１０１”であるとき第６入力（ＤＡＴＡ−ＩＮ）をそのまま輝度振幅値として選択出力する。
【００５９】
低速シャッタ画像出力回路２０９から出力された低速シャッタ画像信号と入力信号ＤＡＴＡ−ＩＮ（高速シャッタ画像信号）は、マルチプレクサ２１０に入力され、タイミングジェネレータ１００からのＦＩ信号が“１”（Ａフィールド）である場合は低速シャッタ画像信号が選択され、ＦＩ信号が“０”（Ｂフィールド）である場合は高速シャッタ画像信号が選択される。その選択された信号は、１Ｖメモリ３０又はマルチプレクサ５０，６０へ出力される。
【００６０】
ここで、図４に示した撮像装置用補正回路（Ｃｙ補正）２０における信号処理の状態遷移を図５に示す。
【００６１】
即ち、Ａフィールド（ＦＩ＝“１”）の偶数ライン（ＬＩ＝“１”＝２Ｂ−Ｇ）で、偶数画素（ピクセル）（ＣＳ＝“１”）に対しては、前ラインの同じ水平位置（画素位置）で２Ｒ−Ｇが飽和している時(飽和ステータス信号Ｓｔ−ｂが“１”である時)、固定値(９３０(ＬＳＢ)：包絡線下位置の値）を挿入する。また、奇数画素（ＣＳ＝“０”）に対しては、前ラインの同じ水平位置（画素位置）で２Ｒ−Ｇが飽和している時(飽和ステータス信号Ｓｔ−ｂが“１”である時)、固定値(９７０(ＬＳＢ)：包絡線上位置の値）を挿入する。
【００６２】
一方、Ａフィールド（ＦＩ＝“１”）の奇数ライン（ＬＩ＝“０”＝２Ｒ−Ｇ）で、偶数画素（ＣＳ＝“１”）に対しては、１画素前の信号が飽和している場合、（１）該画素と１画素前のアドレスの１ラインメモリ２０５に飽和ステータス“１”を立てて記憶する。また、（２）固定値(８３０(ＬＳＢ)：包絡線下位置の値)を挿入する。また、奇数画素（ＣＳ＝“０”）に対しては、ＤＡＴＡ−ＩＮ信号をスループットで出力することで、結果的に１０２２(ＬＳＢ：包絡線上位置の値)を出力する。なお、Ｂフィールドでは、挿げ替え処理を行う必要なく、ＤＡＴＡ−ＩＮ信号をスループットで出力するだけである。
【００６３】
次に、撮像装置用補正回路（Ｃｙ補正）２０の動作タイミングの一例を、図６を用いて説明する。ここで、タイミングジェネレータ１００で作成されるＣＳ信号、ＦＩ信号、ＬＩ信号とＡフィールドとＢフィールドの論理関係を図７に示している。
【００６４】
図６のＣｙ補正時のタイミングチャートにおいて、左図（ｎライン：奇数ライン：２Ｒ−Ｇ）は、ピクセルカウンタ９０のカウント値が０ｘ０１タイミングで奇数画素に飽和が発生した時の波形である。
【００６５】
図４で示した撮像装置用補正回路（Ｃｙ補正）２０の動作から、この時のクリップ検出２０１は該当画素の飽和を検出（Ｓｔ−ａ“１”）し、デコーダ２０８、低速シャッタ画像出力回路２０９の動作によって奇数画素における白色時の固定値（輝度振幅値９７０）に挿げ替える。同時にクリップ検出２０１の出力に基づき１ラインメモリ２０５に“飽和ステータス”を立てて記憶する。
【００６６】
次に、飽和画素の次画素（０ｘ０２タイミング）におても、遅延回路２０２で１サイクル遅れるクリップ検出２０３が同じ画素の飽和を検出（Ｓｔ−ａ“１”）し、デコーダ２０８、低速シャッタ画像出力回路２０９の動作によって偶数画素における白色時の固定値（輝度振幅値９３０）に挿げ替える。同様にして、クリップ検出２０３の出力に基づき１ラインメモリ２０５に“飽和ステータス”を立てて記憶する。Ｃｙ補正処理は、常に飽和画素の次画素まで適用するため、補正単位は２画素ペアとなる。
【００６７】
この１ラインメモリ２０５に記憶した“飽和ステータス”は、次ラインで使用される。これは色差線順次方式の色復調処理が２ライン単位で行われているためであり、２Ｒ−ＧラインでＣｙ補正処理を行った場合、Ｃｙ補正処理は次ライン（ｎ＋１ライン：偶数ライン）である２Ｂ−Ｇラインにも補正を行う必要があるためである。
【００６８】
図６の右図は、２Ｂ−Ｇライン処理中において、１ラインメモリ２０５に記憶されている画素アドレスの飽和ステータス信号Ｓｔ−ｂが“１”ならばＣｙ補正処理を行い、“０”ならば非補正とする。Ｃｙ補正処理は、ｎラインと同様に２画素ペアで行う。
【００６９】
なお、実施形態では、隣接する２ラインでＣｙ補正処理を実施するとしたが、３ラインでＣｙ補正処理を実施するようにしても構わない。その他、本発明の要旨に逸脱しない範囲において適宜設計変更可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の補正アルゴリズムを示すフローチャート。
【図２】本発明のアルゴリズムを説明するＣｙ補正適用時の信号補正波形を示す図。
【図３】本発明の実施形態に係る撮像装置の構成を示すブロック図。
【図４】本発明の実施形態に係る撮像装置用補正回路の構成を示すブロック図。
【図５】本発明の実施形態に係る撮像装置用補正回路における信号処理の状態遷移表を示す図。
【図６】本発明の実施形態に係る撮像装置用補正回路の動作タイミングを示す図。
【図７】撮像装置用補正回路のインディクス信号の論理値を示す図。
【図８】ＣＣＤの飽和直前の出力波形を示す図。
【図９】ＣＣＤの飽和開始時の出力波形を示す図。
【図１０】ＣＣＤの飽和開始時の各輝度信号レベルを示す図。
【図１１】画像合成時の信号波形を示す図。
【符号の説明】
【００７１】
１０‥補色系センサ、２０‥撮像装置用補正回路（Ｃｙ補正）、３０‥１Ｖ遅延メモリ、４０‥メモリコントローラ、５０，６０‥マルチプレクサＭＰＸ、７０‥合成回路、８０‥カメラ信号処理部、９０‥ピクセルカウンタ、１００‥タイミングジェネレータ、２０１，２０３‥クリップ検出回路、２０２‥遅延回路、２０４‥ＯＲゲート回路、２０５‥１ラインメモリ、２０６‥加算回路、２０７ａ〜２０７ｈ‥ゲート回路、２０８‥デコーダ、２０９‥低速シャッタ画像出力回路、２１０‥マルチプレクサ。
【図１】
2009038730.tif 000003
【図２】
2009038730.tif 000004
【図３】
2009038730.tif 000005
【図４】
2009038730.tif 000006
【図５】
2009038730.tif 000007
【図６】
2009038730.tif 000008
【図７】
2009038730.tif 000009
【図８】
2009038730.tif 000010
【図９】
2009038730.tif 000011
【図１０】
2009038730.tif 000012
【図１１】
2009038730.tif 000013