(57)【要約】【課題】  複数フィールドで画像信号を読み出す方式の場合、鏡筒や撮像装置の背面等に隙間があり遮光時に露光してしまう場合に生じるフィールド毎の輝度段差補正を複数回露光することなく補正する。【解決手段】  第１フィールドで読み出した第１フィールド信号と［２〜ｎ］の範囲の第ｋフィールドで読み出した第ｋフィールド信号から［２〜ｎ］の範囲の第ｍ番目フィールド信号を補正するフィールド補正信号生成手段と、前記補正信号より第ｍ番目フィールド信号を補正するフィールド補正手段と、前記補正されたフィールド信号または撮像装置から出力されたフィールド信号を合成し１枚のフレーム画像を生成するフィールド合成手段とを有する。【選択図】  図１
2005151168.tif 000002
【特許請求の範囲】
【請求項１】
メカシャッター機構を持つ撮像装置からの出力をｎ回のフィールドに分割して読み出して信号を処理する信号処理装置において、
第１フィールドで読み出した第１フィールド信号と［２〜ｎ］の範囲の第ｋフィールドで読み出した第ｋフィールド信号から［２〜ｎ］の範囲の第ｍ番目フィールド信号を補正する補正信号を生成するフィールド補正信号生成手段と、
前記補正信号より第ｍ番目フィールド信号を補正するフィールド補正手段と、
前記補正されたフィールド信号または撮像装置から出力されたフィールド信号を合成し１枚のフレーム画像を生成するフィールド合成手段とを有する事を特徴とする信号処理装置。
【請求項２】
前記フィールド補正信号生成手段は、第１フィールド信号と第ｋフィールドの信号の差分信号であるフィールド間差分信号を生成することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記フィールド補正信号生成手段は、前記フィールド間差分信号に対して（ｍ−１）／（ｋ−１）に相当する係数を乗算された第ｍフィールド補正信号を生成することを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記第ｍフィールド補正信号に対して、あらかじめ設定された所定の範囲を越えた場合に、前記所定の範囲内にクリップを行う補正信号クリップ手段を有することを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前第ｍ番目フィールド信号は、画素のカラーフィルタ配列が前記第１フィールドと同一であることを特徴とする請求項１から４のいずれかに記載の信号処理装置。
【請求項６】
撮像装置からの出力をｎ’回の奇数回フィールドに分割して読み出して信号を処理する信号処理装置において、
第１フィールドで読み出した第１フィールド信号と［２〜ｎ’］の範囲の第ｋ’フィールドで読み出した第ｋフィールド信号から、［２〜ｎ’］の範囲の第ｍ番目フィールド信号を補正する補正信号を生成するフィールド補正信号生成手段と、
前記補正信号より第ｍ’番目フィールド信号を補正するフィールド補正手段とを有する事を特徴とする信号処理装置。
【請求項７】
前記フィールド補正信号生成手段は、第１フィールド信号と第ｋ’フィールドの信号の差分信号であるフィールド間差分信号を生成することを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記フィールド補正信号生成手段は、前記フィールド間差分信号に対して（ｍ’−１）／（ｋ’−１）に相当する係数を乗算された第ｍ’フィールド補正信号を生成することを特徴とする請求項７に記載の信号処理装置。
【請求項９】
前記第ｍ’フィールド補正信号に対して、あらかじめ設定された所定の範囲を越えた場合に、前記所定の範囲内にクリップを行う補正信号クリップ手段を有することを特徴とする請求項８に記載の信号処理装置。
【請求項１０】
前第ｍ’番目フィールド信号は、画素のカラーフィルタ配列が前記第１フィールドと同一であることを特徴とする請求項６から９のいずれかに記載の信号処理装置。
【請求項１１】
前記撮像装置の読み出し回数は、ｎ’＝３であり、前第ｋ’番目フィールド信号は、ｋ’＝３フィールド目であることを特徴とする請求項６から１０のいずれかに記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び方法、信号処理装置及び方法に関し、更に詳しくは、複数フィールド読み出しを行う撮像装置からの出力画像データに対して、光学的な光線漏れなどによって生じる輝度段差を補正する輝度段差方法に関するものである。
【背景技術】
【０００２】
従来の輝度段差方法について説明をする。
【０００３】
インターライン型固体撮像素子を用いて、３回の部分読み出しで、全ての画素の電荷を読み出すことのできる方法、つまり、１フレームを３フィールドで構成した読み出し方法が開示されている（例えば、特許文献１参照）。
【０００４】
上記のような複数フィールドで画像信号を読み出す方式の場合、もし鏡筒や撮像装置の背面等に隙間があり遮光時にも露光してしまうと、後フィールドになるほど微妙な露光分のオフセットが乗ってしまい、フィールド間を合成して１つのフレームにした場合にラインごとに段差ができ、輝度段差が生じてしまう。
これらの輝度段差に対し、一般的に２種類の方法で対処がなされる。
【０００５】
一つ目は黒引きと呼ばれる手法で、「メカシャッターを閉じた状態で本露光時と同じ時間だけ露光させダーク画像を取得し本露光時の出力画像から引く」という手法である。
【０００６】
また、２つ目の手法としては、フレームごと撮像装置における遮光部分であるＯｐｔｉｃａｌＢｌａｃｋ等から光学漏れによるオフセット分を計算し、その数値を画像信号から一律に固定値を引くという手法である。
【特許文献１】特開２０００−２０１３５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、一つ目の黒引き手法は本露光と同じ時間だけ撮像装置を露光しなければならず、特に長秒撮影時に非常に多くの時間を要してしまうという欠点があった。
【０００８】
また、２つ目の固定値を引くという手法は画像の位置によって光線漏れの量が異なる場合など画像の位置に依存する補正が必要な場合や、被写体に非常に暗い部分や光源などが写りこんで非常に明るい部分などにおいて必要以上に補正してしまう等、逆にそれによる輝度段差が生じてしまうことがある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、一度の撮影で２度の露光を行うことなく、また画像位置に応じて最適な輝度段差補正を行うことを目的とする。
【課題を解決するための手段】
【００１０】
メカシャッター機構を持つ撮像装置からの出力をｎ回のフィールドに分割して読み出して信号を処理する信号処理装置において、第１フィールドで読み出した第１フィールド信号と２〜ｎの範囲の第ｋフィールドで読み出した第ｋフィールド信号から、２〜ｎの範囲の第ｍ番目フィールド信号を補正する補正信号を生成するフィールド補正信号生成手段であって、特に第ｍ番目フィールド補正信号生成手段は、第１フィールド信号と第ｋフィールドの信号の差分信号であるフィールド間差分信号を生成し、そのフィールド間差分信号を（ｍ−１）／（ｋ−１）に相当する係数を乗算された第ｍフィールド補正信号を作成し、さらにその前記第ｍフィールド補正信号に対してあらかじめ設定された所定の範囲を越えた場合に前記所定の範囲内にクリップを行う補正信号クリップを行い、その補正信号により第ｍ番目フィールド信号を補正する第ｍ番目フィールド補正手段を有し、前記補正されたフィールド信号または撮像装置から出力されたフィールド信号を合成し１枚のフレーム画像を生成するフィールド合成手段を有することを特徴とする。
【００１１】
また、本発明の好適な一様態によれば前第ｍ番目フィールド信号は、画素のカラーフィルタ配列が前記第１フィールドと同一なものから選択することを特徴とする。
【００１２】
また、撮像装置からの出力を奇数回のｎ’回のフィールドに分割して読み出して信号を処理する信号処理装置において、第１フィールドで読み出した第１フィールド信号と２〜ｎの範囲の第ｋフィールドで読み出した第ｋ’フィールド信号から、２〜ｎ’の範囲の第ｍ番目フィールド信号を補正するフィールド補正信号生成方法であって、特に第ｍ’番目フィールド補正信号生成手段は、第１フィールド信号と第ｋ’フィールドの信号の差分信号であるフィールド間差分信号を生成し、そのフィールド間差分信号を（ｍ’−１）／（ｋ’−１）に相当する係数を乗算された第ｍ’フィールド補正信号を作成し、さらにその前記第ｍ’フィールド補正信号に対してあらかじめ設定された所定の範囲を越えた場合に前記所定の範囲内にクリップを行う補正信号クリップを行い、その補正信号により第ｍ’番目フィールド信号を補正する第ｍ’番目フィールド補正手段を有することを特徴とする。
【００１３】
また、本発明の好適な一様態によれば、前記撮像装置の読み出し回数は、ｎ’＝３であり、前第ｋ’番目フィールド信号は、ｋ’＝３フィールド目であることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、３フィールド読み出しの撮像装置において、一度の撮影で２度の露光を行うことなく、また画像位置に応じて最適な輝度段差補正を行うことが可能である。
【００１５】
また、４フィールド読み出しの撮像装置において、一度の撮影で２度の露光を行うことなく、また画像位置に応じて最適な輝度段差補正を行うことが可能である。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施例について説明する。
【実施例１】
【００１７】
以下、本発明におけるの実施形態について説明する。
【００１８】
本実施例では、インターライン型個体撮像装置を用いて、３回の部分読み出しで、全ての画素の電荷を読み出すことのできる方法、つまり１フレームを３フィールドで読み出す方法をもとに説明する。
【００１９】
図１は本実施例における代表的な実施の形態である。
【００２０】
撮像装置１００から読み出された信号は、第１フィールド信号は第１フィールド格納手段１０１に格納され、第２フィールド信号は第２フィールド格納手段１０２に格納され、第３フィールド信号は第３フィールド格納手段１０３に格納される。補正信号生成手段１１０は、前記第１フィールド信号と前記第３フィールド信号を用いて第２フィールド用補正信号及び第３フィールド用補正信号を生成し、それぞれ第２フィールド画像補正手段１０５及び第３フィールド画像補正手段１０６に送信する。
【００２１】
第２フィールド画像補正手段１０５は前記補正信号生成手段１１０から出力された第２フィールド用画像補正信号と前記第２フィールド画像信号から第２フィールド画像を補正し、フィールド合成手段１０７へ出力される。また、同様に第３フィールド画像補正手段１０６は前記補正信号生成手段１１０から出力された第３フィールド用画像補正信号と前記第３フィールド画像信号から第３フィールド画像を補正し、複数フィールド画像合成手段１０７へ出力される。複数フィールド画像合成手段１０７は前記第１フィールド画像信号と、補正後の第２フィールド画像信号と補正後の第３フィールド画像信号から、１枚のフレーム画像信号を生成する。
【００２２】
図２は一般的な３フィールド読み出しの場合のタイミングチャートである。
【００２３】
図２で示すように、露光が終了するとフォトダイオードに蓄積された電荷は一定期間ごとに３フィールドごとに分割されて転送される。
【００２４】
もし、メカシャッターが閉じられてからも光線漏れが合った場合、メカシャッターが閉じられてからフィールド読み出しが開始するまでの時間分だけ露光が進んでしまう。図３は光線漏れが合った場合の蓄積される時間を示したタイミングチャートである。これによると、第１フィールドはほとんど光線漏れの影響は受けず、第２フィールドでは、第１フィールド読み出し時間分だけ、第３フィールドでは第１と第２フィールド読み出し時間分だけ多く露光してしまう事を示している。
【００２５】
つまり、第２フィールドの光線漏れ分の電荷量は、第３フィールドの光線漏れ分の電荷蓄積時間が半分であるため、第３フィールドでの光線漏れ分の半分の量となる。
また、図４に示したような撮像装置がベイヤー型の場合は、１ラインごとに同じ配列が存在する。そのため、３フィールド読み出しの場合、第１フィールドと第３フィールドが同じ画素配列であり、第１フィールドと第３フィールドの相関が高い。そのため被写体が比較的平坦な輝度変化部分であれば、第１フィールドと第３フィールドの差分をとることで、光源漏れ量を検出することが可能となる。また、その第１フィールドと第３フィールドとの差分の半分の量が、第２フィールドの光源漏れ量分の蓄積電荷となる。
【００２６】
図５は図１における補正信号生成手段１１０の処理を詳細に示した図である。
【００２７】
図５において第１フィールド画像格納手段１０１から出力された第１フィールド画像信号と第３フィールド画像格納手段１０１から出力された第３フィールド画像信号は減算機１１１によってフィールド間差分信号を生成して出力される。第２フィールド補正信号生成手段は、前記フィールド間差分信号を用いて第２フィールド補正信号を出力する。また、第３フィールド補正信号生成手段は、前記フィールド間差分信号を用いて第３フィールド補正信号を出力する。
【００２８】
図６は前記第２フィールド補正信号生成手段１１２と前記第３フィールド補正信号生成手段１１３の処理を詳細に示した図である。
【００２９】
減算機１１１から出力されたフィールド間差分信号は第２フィールド用差分信号演算手段１１４に入力される。本実施例では、前述したように第２フィールド用の光源漏れ量は第３フィールド分の半分としているので０．５倍のゲインを掛ける演算で実現できる。第２フィールド用差分信号演算手段１１４から出力された信号は、クリップ手段１１５によってあらかじめ設定された範囲内にクリップされて出力される。
【００３０】
図７は第１フィールドと第３フィールドに極端な差がある例である。このような被写体において第１フィールドと第３フィールド画像で差分をとると、光線漏れ分でなく被写体の輝度差も検出してしまう。このような場所においてはクリップを行うことで必要以上に補正を行わないようにする事が可能である。このような場所においては補正量に誤差が生じる可能性はあるが、ほとんどの場合、輪郭強調やデジタル的なローパス処理を行われるため、補正ミスによる画像劣化は回避可能である。
【００３１】
また、図８に示したように、逆に第１フィールドの信号値のほうが大きい場合には、差分信号が負になるため、クリップ回路補正において負値の場合には補正をしないようにクリップを行うことで画像劣化の回避可能が可能である。
【００３２】
本実施例では、第２フィールド用差分信号演算手段１１４では０．５倍のゲインをかけることで実現したが、フィルタの透過率の違いを補正するＷＢ係数分を考慮した演算を行っても良いし、フィルタ配列に応じた固定値をかけても良いことは言うまでもない。
【００３３】
また、本実施例では、第３フィールド用差分信号演算手段１１６では差分信号をそのまま用いることで実現したが、フィルタの透過率の違いを補正するＷＢ係数分を考慮した演算を行っても良いし、フィルタ配列に応じた固定値をかけても良いことは言うまでもない。
【実施例２】
【００３４】
本実施例では、図９で示したようなインターライン型個体撮像装置を用いて４回の部分読み出しで、全ての画素の電荷を読み出すことのできる方法、つまり１フレームを４フィールドで読み出す方法をもとに説明する。
【００３５】
図１０は実施例２における画像補正回路図である。基本的には第一実施例とほぼ同等であるので、差分があるところのみ説明を行う。第２，第３フィールドの補正方法が第１実施例と同じである。
【００３６】
補正信号生成手段１１０は、前記第１フィールド信号と前記第３フィールド信号を用いて、第４フィールド用補正信号をも生成する。第４フィールド用補正信号は、第４フィールド画像補正手段１２１に送信される。前記第４フィールド画像補正手段１２１は第４フィールド用画像補正信号と前記第４フィールド画像信号から第４フィールド画像を補正し、フィールド合成手段１０７へ出力される。
【００３７】
図１１は図１０における補正信号生成手段１１０の処理を詳細に示した図である。
【００３８】
図１１において第１フィールド画像信号と第３フィールド画像信号は減算機１１１によってフィールド間差分信号を生成して出力される。また、第４フィールド補正信号生成手段１２２は、前記フィールド間差分信号を用いて第４フィールド補正信号を出力する。図１２は４フィールド読み出し時の越す線もれ分の蓄積時間を示したタイミングチャートである。これによると、第４フィールドは、第１と第２と第３フィールド読み出し時間分だけ多く露光してしまう事を示している。つまり、第４フィールドの光線漏れ分の電荷量は、第３フィールドの光線漏れ分の電荷蓄積時間が１．５倍であるため、第３フィールドでの光線漏れ分の１．５の量となる。本実施例では、第３フィールド光源漏れ量の１．５倍のゲインを掛けることで実現できる。さらに前記クリップ手段１１５によってあらかじめ設定された範囲内にクリップされて補正信号として出力される。
【００３９】
前記第４フィールド画像補正手段１２１は前記第４フィールド補正信号生成手段１２２から出力された第４フィールド用画像補正信号と前記第４フィールド画像信号から第４フィールド画像を補正し、複数フィールド画像合成手段１０７は前記第１フィールド画像信号と、補正後の第２フィールド画像信号と補正後の第３フィールド画像信号と補正後の第４フィールド画像信号から、１枚のフレーム画像信号を生成する。
【００４０】
上記構成をとることにより、第１実施例においては、３フィールド読み出しの撮像装置において、一度の撮影で２度の露光を行うことなく、また画像位置に応じて最適な輝度段差補正を行うことが可能であることを示した。
【００４１】
また、第２実施例においては、４フィールド読み出しの撮像装置において、一度の撮影で２度の露光を行うことなく、また画像位置に応じて最適な輝度段差補正を行うことが可能であることを示した。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施例１における  実施例１における画像補正回路図
【図２】本発明で用いる３フィールド読み出しタイミングチャート
【図３】本発明で用いる３フィールド読み出し時光線もれ蓄積時間をしめしたタイミングチャート
【図４】本発明のベイヤー配列における３フィールド読み出し方法
【図５】本発明の実施例１における画像補正信号生成手段回路図
【図６】本発明の実施例１における第２・第３フィールド画像補正信号生成手段回路図
【図７】本発明の実施例１における第１フィールドと第３フィールドに極端な差がある例（パターン１）
【図８】本発明の実施例１における第１フィールドと第３フィールドに極端な差がある例（パターン２）
【図９】本発明の実施例２ベイヤー配列における４フィールド読み出し方法
【図１０】本発明の実施例２における画像補正回路図
【図１１】本発明の実施例２における画像補正信号生成手段回路図
【図１２】本発明の実施例２における４フィールド読み出し時光線もれ蓄積時間
【符号の説明】
【００４３】
１０１  撮像装置
１０２  第１フィールド画像格納手段
１０３  第２フィールド画像格納手段
１０４  第３フィールド画像格納手段
１０５  第２フィールド画像補正手段
１０６  第３フィールド画像補正手段
１０７  複数フィールド画像合成手段
１１０  補正信号生成手段
１１１  減算機
１１２  第２フィールド補正信号生成手段
１１３  第３フィールド補正信号生成手段
１１４  第２フィールド用差分信号演算手段
１１５  クリップ手段
１１６  第２フィールド用差分信号演算手段
１１７  クリップ手段
１２０  第４フィールド画像格納手段
１２１  第４フィールド画像補正手段
１２２  第４フィールド補正信号生成手段
１２３  補正係数候補
【図１】
2005151168.tif 000003
【図２】
2005151168.tif 000004
【図３】
2005151168.tif 000005
【図４】
2005151168.tif 000006
【図５】
2005151168.tif 000007
【図６】
2005151168.tif 000008
【図７】
2005151168.tif 000009
【図８】
2005151168.tif 000010
【図９】
2005151168.tif 000011
【図１０】
2005151168.tif 000012
【図１１】
2005151168.tif 000013
【図１２】
2005151168.tif 000014