(57)【要約】【課題】電荷転送型固体撮像素子における垂直転送の時間間隔が一定でない場合でも、スミアを良好に補正することができる撮像装置等を提供する。【解決手段】有効領域とＯＢ領域と垂直転送路と水平転送路とを有する撮像素子２と、所定数の垂直転送回数毎に第１の垂直転送時間と第２の垂直転送時間とを異ならせて撮像素子２に画素信号を垂直転送させる撮像駆動部３と、ＯＢ領域の画素信号と所定数とに基づきスミア補正用信号を算出するとともに通常／高輝度スミア画素信号がなす垂直方向のパターンを検出し、検出したパターンに応じて、通常スミア画素信号からスミア補正用信号を減算し、高輝度スミア画素信号から第１の垂直転送時間と第２の垂直転送時間との比に応じたスミア補正係数を乗算したスミア補正用信号を減算するスミア補正部７と、を備えた撮像装置。【選択図】図１
2012191591.tif 000002
【特許請求の範囲】
【請求項１】
光電変換を行い画素信号を生成する画素が行方向および列方向に二次元配列され、配列された画素が被写体光を受光する有効領域と被写体光を遮光されるＯＢ領域とに分割されていて、上記画素から転送された画素信号を垂直転送する垂直転送路と、該垂直転送路から転送された画素信号を水平転送する水平転送路と、を有する電荷転送型固体撮像素子から画素信号を読み出してスミア補正を行う撮像装置において、
上記垂直転送および上記水平転送を制御するものであり、垂直転送路内の画素信号を連続する所定数の画素信号毎に分割して、分割された所定数の画素信号の内の、第１の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第１の垂直転送時間と、第２の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第２の垂直転送時間と、が異なるように制御する読出制御部と、
上記読出制御部により読み出された上記ＯＢ領域の画素信号に基づきスミア補正用信号を算出するとともに該ＯＢ領域の画素信号の信号値と上記所定数とに基づき通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンを検出し、該検出したパターンに応じて、該読出制御部により読み出された上記有効領域の画素信号から、上記スミア補正用信号を減算するか、または上記第１の垂直転送時間と上記第２の垂直転送時間との比に応じたスミア補正係数を上記スミア補正用信号に乗算したものを減算することにより、スミア補正を行うスミア補正部と、を具備したことを特徴とする撮像装置。
【請求項２】
上記読出制御部は、さらに、上記分割された所定数の画素信号を単位として、上記垂直転送路から転送された画素信号を上記水平転送路内において画素加算し、該水平転送路内における画素加算が終了したところで、該水平転送路内に保持されている加算された画素信号を全て読み出すように水平転送する制御を行うものであり、
上記第１の垂直転送時間は、画素加算の対象となる垂直転送路内の画素信号と水平転送路内の画素信号との水平方向の画素位置を合わせるために水平転送が行われるのを待つ時間に相当し、
上記第２の垂直転送時間は、上記水平転送路内に保持されている加算された画素信号を全て読み出すために水平転送が行われるのを待つ時間に相当し、
上記水平転送路から読み出された加算画素信号を画像として再構成する画像再構成部をさらに具備し、
上記スミア補正部は、上記画像再構成部により再構成された画像に対してスミア補正を行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記電荷転送型固体撮像素子は、複数色のカラーフィルタが、上記配列された画素の１つに対して１色ずつ配置された単板カラー撮像素子であり、
上記読出制御部は、上記画素加算を、同一色の画素の画素信号同士の間で行うように制御するものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
光電変換を行い画素信号を生成する画素が行方向および列方向に二次元配列され、配列された画素が被写体光を受光する有効領域と被写体光を遮光されるＯＢ領域とに分割されていて、上記画素から転送された画素信号を垂直転送する垂直転送路と、該垂直転送路から転送された画素信号を水平転送する水平転送路と、を有する電荷転送型固体撮像素子と、
上記垂直転送および上記水平転送を制御するものであり、垂直転送路内の画素信号を連続する所定数の画素信号毎に分割して、分割された所定数の画素信号の内の、第１の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第１の垂直転送時間と、第２の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第２の垂直転送時間と、が異なるように制御する読出制御部と、
を備えた撮像装置から読み出された画素信号にスミア補正を行うスミア補正方法であって、
上記読出制御部により読み出された上記ＯＢ領域の画素信号に基づきスミア補正用信号を算出するステップと、
上記ＯＢ領域の画素信号の信号値と上記所定数とに基づき通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンを検出するステップと、
上記検出したパターンに応じて、該読出制御部により読み出された上記有効領域の画素信号から、上記スミア補正用信号を減算するか、または上記第１の垂直転送時間と上記第２の垂直転送時間との比に応じたスミア補正係数を上記スミア補正用信号に乗算したものを減算するステップと、
を有するスミア補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびスミア補正方法、より詳しくは、電荷転送型固体撮像素子から画素信号を読み出してスミア補正を行う撮像装置、および電荷転送型固体撮像素子から読み出された画素信号にスミア補正を行うスミア補正方法に関する。
【背景技術】
【０００２】
近年の固体撮像素子は高画素化が進んでいるために、全画素を読み出すのに時間を要するようになってきている。静止画像であれば幾らかの時間を要したとしても全画素を読み出すことが望ましいが、動画像の場合にはフレームレートで規定される時間があり、この時間内に読み出しを行って滑らかな動きを得ることは高い順位で優先される。さらに、動画像の場合には、必要とされる画素数が静止画像よりも少ないことが一般的である。
【０００３】
そこで、こうした高画素の撮像素子を用いたカメラにおいて、映像信号の出力時間を短縮する技術として、撮像素子から読み出す画素数を減少させることにより、フレームレートを上げる技術を採用することが一般的となっている。こうした技術の代表例としては、画素間引き読み出しと、画素加算読み出しとが知られている。
【０００４】
前者の画素間引き読み出しは、例えば、複数ラインに１ラインの割合で、かつ１ライン上において複数画素に１画素の割合で、選択した画素のみを読み出すことにより、読み出す画素数を減少させる技術である。
【０００５】
また、後者の画素加算読み出しは、水平方向および／または垂直方向に隣接する同色の画素同士の画素信号を撮像素子内において加算し、撮像素子から読み出す画素数を減少させる技術である。
【０００６】
これら２種類の技術を比較すると、画素間引き読み出しには、フレームレートを上げたことによる露光時間短縮で光電変換量が減りＳ／Ｎ比が低下するという課題と、画素間引きしたことによるサンプリング折り返しでモアレが出るという課題と、があるために、画素間引き読み出しよりも画素加算読み出しの方が画質的に優れていると考えられる。
【０００７】
こうした画素加算を行うための固体撮像素子の駆動方法としては、例えば、特開２００６−３２００１９号公報や特開２００４−１８０２８４号公報などに記載された技術が例として挙げられる。これらの公報に記載された技術においては、一度の水平転送で複数行の画素信号を読み出す駆動技術が用いられる。
【０００８】
ところで、ＣＣＤ固体撮像素子に代表されるような、垂直転送路と水平転送路とを有し、フォトダイオードに発生した電荷を垂直転送路に一斉転送した後に、該電荷を順送りしながら転送していくタイプの電荷転送型固体撮像素子においては、撮影画角内に高輝度被写体が存在すると、スミアが発生することが知られている。
【０００９】
このスミアは、高輝度被写体の光学像が結像されるフォトダイオードから垂直転送路や信号線へ光が漏れこむために発生する。
【００１０】
そして、動画像のように複数フレームの画像を繰り返して撮像する場合には、フォトダイオードから垂直転送路へ読み出した電荷を水平転送路へ受け渡すまでに、高輝度被写体が存在する垂直ライン上の電荷保持用のポテンシャル井戸は必ず高輝度被写体の画素の横を通過してしまうために、このときに光漏れの影響を受けてしまうことになる。従って、このような原因により発生するスミアは、垂直ライン方向に沿って画像の上端から下端まで到達する縦の高輝度線となる。
【００１１】
こうしたスミアを補正する方法は、従来より提案されており、例えば、特開２０００−５０１６５号公報には、遮光されたＯＢ（オプティカルブラック）部から読み出した複数ラインのダミー信号を加算平均して、有効領域の各ラインの信号から減算する方法が記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００６−３２００１９号公報
【特許文献２】特開２００４−１８０２８４号公報
【特許文献３】特開２０００−５０１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本出願人は、スミアが発生した画像を上述したように画素加算読み出しする場合に、スミアが発生した垂直ライン中に、水平方向の縞模様が発生することを発見した（本発明に係る図１５参照）。
【００１４】
そして、このようなスミアの縞模様が発生する原因を研究したところ、画素加算読み出しを行うときには、１画素分の垂直転送を行う時間間隔が一定でなく、例えば、短時間、短時間、長時間といったパターンを繰り返しているためであることを突き止めた。すなわち、高輝度被写体が結像されている画素に隣接する垂直転送路内の位置で垂直転送を短時間待機している電荷は通常のスミアとなるのに対して、同位置で垂直転送を長時間待機している電荷はスミアの影響を強く受けて高輝度スミアとなるのである。
【００１５】
このようなスミアに対して、上記特開２０００−５０１６５号公報に記載されたようなスミア補正を施すと、通常スミアは比較的良好に補正されるが、高輝度スミアについては無視し得ないレベルの補正残りが生じる。従って、該公報に記載の技術では、スミア補正を行っても、依然として縞模様のスミアが残存することになる。
【００１６】
本発明は上記事情に鑑みてなされたものであり、電荷転送型固体撮像素子における垂直転送の時間間隔が一定でない場合でも、スミアを良好に補正することができる撮像装置、スミア補正方法を提供することを目的としている。
【課題を解決するための手段】
【００１７】
上記の目的を達成するために、本発明のある態様による撮像装置は、光電変換を行い画素信号を生成する画素が行方向および列方向に二次元配列され、配列された画素が被写体光を受光する有効領域と被写体光を遮光されるＯＢ領域とに分割されていて、上記画素から転送された画素信号を垂直転送する垂直転送路と、該垂直転送路から転送された画素信号を水平転送する水平転送路と、を有する電荷転送型固体撮像素子から画素信号を読み出してスミア補正を行う撮像装置において、上記垂直転送および上記水平転送を制御するものであり、垂直転送路内の画素信号を連続する所定数の画素信号毎に分割して、分割された所定数の画素信号の内の、第１の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第１の垂直転送時間と、第２の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第２の垂直転送時間と、が異なるように制御する読出制御部と、上記読出制御部により読み出された上記ＯＢ領域の画素信号に基づきスミア補正用信号を算出するとともに該ＯＢ領域の画素信号の信号値と上記所定数とに基づき通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンを検出し、該検出したパターンに応じて、該読出制御部により読み出された上記有効領域の画素信号から、上記スミア補正用信号を減算するか、または上記第１の垂直転送時間と上記第２の垂直転送時間との比に応じたスミア補正係数を上記スミア補正用信号に乗算したものを減算することにより、スミア補正を行うスミア補正部と、を具備したものである。
【００１８】
また、本発明の他の態様によるスミア補正方法は、光電変換を行い画素信号を生成する画素が行方向および列方向に二次元配列され、配列された画素が被写体光を受光する有効領域と被写体光を遮光されるＯＢ領域とに分割されていて、上記画素から転送された画素信号を垂直転送する垂直転送路と、該垂直転送路から転送された画素信号を水平転送する水平転送路と、を有する電荷転送型固体撮像素子と、上記垂直転送および上記水平転送を制御するものであり、垂直転送路内の画素信号を連続する所定数の画素信号毎に分割して、分割された所定数の画素信号の内の、第１の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第１の垂直転送時間と、第２の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第２の垂直転送時間と、が異なるように制御する読出制御部と、を備えた撮像装置から読み出された画素信号にスミア補正を行うスミア補正方法であって、上記読出制御部により読み出された上記ＯＢ領域の画素信号に基づきスミア補正用信号を算出するステップと、上記ＯＢ領域の画素信号の信号値と上記所定数とに基づき通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンを検出するステップと、上記検出したパターンに応じて、該読出制御部により読み出された上記有効領域の画素信号から、上記スミア補正用信号を減算するか、または上記第１の垂直転送時間と上記第２の垂直転送時間との比に応じたスミア補正係数を上記スミア補正用信号に乗算したものを減算するステップと、を有する方法である。
【発明の効果】
【００１９】
本発明の撮像装置、スミア補正方法によれば、電荷転送型固体撮像素子における垂直転送の時間間隔が一定でない場合でも、スミアを良好に補正することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態１の撮像装置の構成を示すブロック図。
【図２】上記実施形態１の撮像素子の構成を示す図。
【図３】上記実施形態１において、撮像駆動部から撮像素子へ出力される水平同期信号ＨＤおよび水平転送パルスを示す線図。
【図４】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の時刻ｔ０における状態を示す図。
【図５】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の（Ａ）時刻ｔ１、（Ｂ）時刻ｔ２における状態を示す図。
【図６】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の（Ａ）時刻ｔ３、（Ｂ）時刻ｔ４における状態を示す図。
【図７】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の時刻ｔ５における状態を示す図。
【図８】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の（Ａ）時刻ｔ６、（Ｂ）時刻ｔ７における状態を示す図。
【図９】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の（Ａ）時刻ｔ８、（Ｂ）時刻ｔ９における状態を示す図。
【図１０】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の時刻ｔ１０における状態を示す図。
【図１１】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の（Ａ）時刻ｔ１１、（Ｂ）時刻ｔ１２における状態を示す図。
【図１２】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の（Ａ）時刻ｔ１３、（Ｂ）時刻ｔ１４における状態を示す図。
【図１３】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の時刻ｔ１５における状態を示す図。
【図１４】上記実施形態１において、垂直転送路および水平転送路内における画素信号の配置の時刻ｔ１６における状態を示す図。
【図１５】上記実施形態１において、高輝度被写体が存在しているときに画素加算読出を行うとスミアに縞模様が発生する様子を示す図。
【図１６】上記実施形態１において、図１５に示したスミアを一般的なスミア補正により処理したときの様子を示す図。
【図１７】上記実施形態１において、図１５に示したスミアを本実施形態のスミア補正により処理したときの様子を示す図。
【図１８】上記実施形態１の撮像装置におけるスミア補正処理を示すフローチャート。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００２２】
図１から図１８は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図、図２は撮像素子２の構成を示す図である。
【００２３】
この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、撮像駆動部３と、撮像信号処理部４と、画像信号処理部５と、表示装置１２と、ＡＥ／ＡＦ処理部１３と、メモリ１４と、操作部１６と、制御部１７と、を備えている。なお、図１には記録媒体１５も記載されているが、この記録媒体１５は撮像装置に対して着脱可能なメモリカード等として構成されているために、撮像装置に固有の構成でなくても構わない。
【００２４】
レンズ１は、被写体の光学像を撮像素子２の撮像面に結像するものであり、フォーカス位置を調節するためのフォーカスレンズや、レンズ１から撮像素子２へ到達する光束の通過範囲を制御する絞りを含んで構成されている。
【００２５】
撮像素子２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する撮像センサである。この撮像素子２は、図２に示すように、光電変換を行い画素信号を生成する画素２１を複数備え、これら複数の画素２１が行方向および列方向に二次元配列された撮像面を有している。そして、本実施形態の撮像素子２は、配列された画素の１つに対して、複数色のカラーフィルタの内の何れか１色が配置されていて、いわゆる単板カラー撮像素子となっている。そして、以下においては、カラーフィルタの配列が原色ベイヤー配列である場合を例に挙げて説明するが、カラーフィルタとして用いる色や配列はこれに限るものではない。また、上述した撮像面は、レンズ１からの被写体光を受光する有効領域２ｅｆと、被写体光を遮光されるＯＢ（オプティカルブラック）領域２ｏｂと、に分割されている（図１５等参照）。ここに、ＯＢ領域２ｏｂは、複数の水平ラインを含むように構成されている。さらに、撮像素子２は、図２に示すように、画素２１から転送された画素信号を垂直転送する垂直転送路２２と、この垂直転送路２２から転送された画素信号を水平転送する水平転送路２３と、を有する電荷転送型固体撮像素子となっている。
【００２６】
撮像駆動部３は、撮像素子２の画素２１中の光電変換部による露光開始や露光終了、光電変換部から垂直転送路２２への画素信号の転送、垂直転送路２２内における画素信号の垂直転送および垂直転送路２２から水平転送路２３への画素信号の垂直転送、水平転送路２３内における画素信号の水平転送等の、該撮像素子２に係る撮像動作を制御するものであり、読出制御部を兼ねている。この撮像駆動部３は、さらに、垂直転送路２２内の画素信号を連続する所定数の画素信号毎に分割（図４の例においては、符号Ｌ１ＨＤ，Ｌ２Ｈｄ，…に示すように、連続する３画素を単位として分割している）して、分割された所定数の画素信号を単位として、垂直転送路２２から転送された画素信号を水平転送路２３内において画素加算し、この水平転送路２３内における画素加算が終了したところで、水平転送路２３内に保持されている加算された画素信号を全て読み出すように水平転送する制御を行う。ここに、撮像素子２が上述した単板カラー撮像素子である場合には、撮像駆動部３は、画素加算を、同一色の画素の画素信号同士の間で行うように制御する。この画素加算読出においては、撮像駆動部３は、後で図３を参照して説明するように、分割された所定数の画素信号の内の、第１の画素信号を１画素分だけ垂直方向へ移動して水平転送路２３へ転送するのに要する第１の垂直転送時間と、第２の画素信号を１画素分だけ垂直方向へ移動して水平転送路２３へ転送するのに要する第２の垂直転送時間と、が異なるように制御する。ここに、第１の垂直転送時間は、画素加算の対象となる、垂直転送路２２内における水平転送路２３に最も近い水平ラインの画素信号と、水平転送路２３内の画素信号と、の水平方向の画素位置を合わせるために水平転送が行われるのを待つ時間を挟んだ、２つの加算パルス（図示せず）の出力時間間隔であるが、実質的に、図３の時間Ｔ１，Ｔ２に相当すると考えて良い。また、第２の垂直転送時間は、水平転送路２３内に保持されている画素加算が終了した画素信号を全て読み出すために水平転送が行われるのを待つ時間を挟んだ、２つの加算パルス（図示せず）の出力時間間隔であるが、実質的に、図３の時間Ｔ３に相当すると考えて良い。
【００２７】
撮像信号処理部４は、撮像素子２から出力されたアナログの画像信号を感度設定に応じて増幅した後にデジタル信号に変換するものである。
【００２８】
画像信号処理部５は、制御部１７の制御に基づいて、撮像信号処理部４から出力された画像信号に種々の画像信号処理を施すものである。この画像信号処理部５は、画像再構成部６と、スミア補正部７と、画像処理部８とを備えている。
【００２９】
画像再構成部６は、撮像信号処理部４から出力される画素信号から画像を再構成するものである。すなわち、画素加算読出を行う場合には、後述するように、水平転送路２３から読み出され撮像信号処理部４から出力される画素加算信号は、例えばラスタスキャン読出された画素信号とは読出順序が異なることになる（図１３等参照）。そこで、この画像再構成部６により正しい画素順序の画像を再構成するようになっている。さらに、この画像再構成部６は、再構成された画像中の欠陥画素の補正も行う。
【００３０】
スミア補正部７は、撮像駆動部３により撮像素子２から読み出され、画像再構成部６により再構成された画像のスミア補正を行うものであり、スミア検出部９と、スミア演算部１０と、スミア減算部１１と、を備えている。
【００３１】
スミア検出部９は、画像再構成部６により再構成された画像のＯＢ領域２ｏｂの画素信号の信号値を水平ライン方向に順次検出し、スミアを含む画素信号であるか否かを判定するための所定の閾値と比較して、この閾値を超える信号値の垂直ラインをスミア垂直ラインであると検出する。スミア検出部９は、このような一水平ライン上におけるスミア垂直ラインの検出を、ＯＢ領域２ｏｂ内の複数ライン（あるいは全ライン）に対して行う。そして、スミア垂直ラインが検出された場合には、スミア検出部９は、さらに、スミア垂直ライン上のＯＢ領域２ｏｂの画素信号の信号値と、上述した垂直転送路２２内の画素信号を分割する際の所定数とに基づき、通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンを検出する。ここに、通常スミアは、着目画素が垂直転送される際に、上述した第１の垂直転送時間（図３の時間Ｔ１，Ｔ２に相当）だけスミア発生源である高輝度被写体像の近傍において転送されるのを待機していたために発生したスミアであると考えられる。一方、高輝度スミアは、着目画素が垂直転送される際に、上述した第２の垂直転送時間（図３の時間Ｔ３に相当）だけスミア発生源である高輝度被写体像の近傍において転送されるのを待機していたために発生したスミアであると考えられる。従って、高輝度スミアは、高輝度被写体像からの漏れ光の影響をより長時間受けているために、通常スミアよりも信号値が高く、通常スミアと高輝度スミアとのスミアレベルの比は、高輝度被写体像の近傍における待機時間の比、つまり第１の垂直転送時間と第２の垂直転送時間との比に比例すると考えられる。そして、ＯＢ領域２ｏｂにおいて検出した垂直ライン方向の通常／高輝度のスミアパターンは、有効領域２ｅｆにおいてもそのまま適用されると考えられる。
【００３２】
スミア演算部１０は、ＯＢ領域２ｏｂの画素信号に基づきスミア補正用信号を算出するものである。ここに、ＯＢ領域２ｏｂの画素信号は、スミアレベル以外にもＯＢレベル等を含んだものとなっているために、ＯＢレベルの補正と同時にスミア補正を行うことも勿論可能である。しかし、スミア補正をどのように行うかを明確にするために、ここではＯＢレベルの補正とは別の処理によりスミア補正が行われるものとして説明する。そして、スミア演算部１０は、通常スミアまたは高輝度スミアの何れか一方（以下では、通常スミアであるものとして説明する）が生じている複数ラインのＯＢ領域２ｏｂの画素信号を用いてスミア補正用信号を算出する。さらに、スミア演算部１０は、第１の垂直転送時間Ｔ１（一般にＴ１＝Ｔ２であるために、ここではＴ１により代表する）と第２の垂直転送時間Ｔ３との比Ｔ３／Ｔ１を高輝度スミア用の補正係数ｋとして算出し、画像再構成部６から入力されてくる水平ラインが高輝度スミアを含む水平ラインである場合には上述したスミア補正用信号に補正係数ｋを乗算したものを算出する。
【００３３】
スミア減算部１１は、スミア検出部９により検出された通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンに応じて、有効領域２ｅｆの画素信号からスミア補正用信号または補正係数ｋを乗算したスミア補正用信号を減算することにより、スミア補正を行う。すなわち、スミア減算部１１は、画像再構成部６から入力されてくる画素信号が通常スミアを含む信号である場合にはスミア補正用信号を減算し、入力されてくる画素信号が高輝度スミアを含む信号である場合には補正係数ｋを乗算したスミア補正用信号を減算する。なお、スミア減算部１１は、画像再構成部６から入力されてくる画素信号がスミアを含む信号でない場合には、入力された画素信号をそのまま出力する。
【００３４】
画像処理部８は、スミア補正部７により処理された画像信号にＯＢレベルの補正処理やデモザイキング処理、ホワイトバランス処理、階調変換処理、圧縮／伸長処理などを行い、記録用の画像信号や表示用の画像信号を生成するものである。また、画像処理部８は、ＡＥ／ＡＦ用の信号生成も行う。
【００３５】
表示装置１２は、画像信号処理部５により表示用に処理された画像信号に基づき、画像を表示するものである。この表示装置１２は、ライブビュー（ＬＶ）表示や静止画像表示を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。
【００３６】
ＡＥ／ＡＦ処理部１３は、画像処理部８から受信したＡＥ／ＡＦ用の信号に基づいて、ＡＦ処理やＡＥ処理を行うものである。
【００３７】
メモリ１４は、撮像信号処理部４によりデジタルに変換された画像信号や、画像信号処理部５による処理中の画像信号を一時的に記憶するためのものである。
【００３８】
記録媒体１５は、画像信号処理部５により記録用に処理された画像信号を保存するための不揮発性の記録媒体である。
【００３９】
操作部１６は、この撮像装置に対する各種の操作入力を行うためのものである。この操作部１６には、撮像装置の電源をオン／オフするための電源スイッチ、画像撮影を指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモードなどを設定するためのモードボタン等の操作部材が含まれている。
【００４０】
制御部１７は、例えばＣＰＵ等のプロセッサにより構成されていて、操作部１６からの操作入力などに応じて、撮像駆動部３や画像信号処理部５等を含むこの撮像装置全体を制御するものである。
【００４１】
次に、図３〜図１４を参照して、撮像駆動部３の制御により行われる撮像素子２の同一色画素同士の画素加算読出について説明する。図３は撮像駆動部３から撮像素子２へ出力される水平同期信号ＨＤおよび水平転送パルスを示す線図、図４は垂直転送路２２および水平転送路２３内における画素信号の配置の時刻ｔ０における状態を示す図、図５は垂直転送路２２および水平転送路２３内における画素信号の配置の（Ａ）時刻ｔ１、（Ｂ）時刻ｔ２における状態を示す図、図６は垂直転送路２２および水平転送路２３内における画素信号の配置の（Ａ）時刻ｔ３、（Ｂ）時刻ｔ４における状態を示す図、図７は垂直転送路２２および水平転送路２３内における画素信号の配置の時刻ｔ５における状態を示す図、図８は垂直転送路２２および水平転送路２３内における画素信号の配置の（Ａ）時刻ｔ６、（Ｂ）時刻ｔ７における状態を示す図、図９は垂直転送路２２および水平転送路２３内における画素信号の配置の（Ａ）時刻ｔ８、（Ｂ）時刻ｔ９における状態を示す図、図１０は垂直転送路２２および水平転送路２３内における画素信号の配置の時刻ｔ１０における状態を示す図、図１１は垂直転送路２２および水平転送路２３内における画素信号の配置の（Ａ）時刻ｔ１１、（Ｂ）時刻ｔ１２における状態を示す図、図１２は垂直転送路２２および水平転送路２３内における画素信号の配置の（Ａ）時刻ｔ１３、（Ｂ）時刻ｔ１４における状態を示す図、図１３は垂直転送路２２および水平転送路２３内における画素信号の配置の時刻ｔ１５における状態を示す図、図１４は垂直転送路２２および水平転送路２３内における画素信号の配置の時刻ｔ１６における状態を示す図である。なお、図３には、図４〜図１４に示すような動作が行われる時刻ｔ０〜ｔ１６を記載している。
【００４２】
ここでは水平方向の３画素加算読出について説明するが、これはもちろん一例であり、画素加算数は３に限るものではなく２や４以上であっても良いし、画素の加算方向も水平方向に限るものではなく垂直方向の画素加算や垂直および水平方向の画素加算等であっても構わないことはいうまでもない。
【００４３】
ＲＧＢの３原色がベイヤー配列された画素２１から垂直転送路２２へ画素信号が転送された段階では、垂直転送路２２内の画素信号の配置もベイヤー配列の状態を保っている。なお、垂直転送路２２および水平転送路２３内においては、画素信号の混合が生じることのないように間にポテンシャル障壁を設けているために、画素信号が保持された電極下同士の間には画素信号が保持されていない電極下が存在している。
【００４４】
このようなベイヤー配列が保たれた状態は、水平転送路２３内の画素信号が撮像信号処理部４へ転送された後（時刻ｔ０）においても実現され、例えば図４に示すようになっている。ここに、画素信号が運んでいる色情報を示すＲ、Ｇ、またはＢの後に付した数字は、この図４に示した配置おける水平ラインの番号を示している。また、ここで説明する例は３画素加算であるために、１ＨＤに同期して行われる１回の水平転送により３ライン分の画素信号が転送されることになる。従って、図４においては、この水平転送の単位となる３ライン毎にＬ１ＨＤ，Ｌ２ＨＤ，…等の符号を付している。
【００４５】
その後、時刻ｔ１において、図５（Ａ）に示すように、水平方向における３画素に１画素の割合で画素信号（この例では、Ｇ１およびＲ１）が垂直転送路２２から水平転送路２３へ転送される。時刻ｔ２において、図５（Ｂ）に示すように、左方向へ２画素分の水平転送が行われる（図３の時刻ｔ１と時刻ｔ２との間の２画素分の水平転送パルスも参照）。ベイヤー配列では一水平ライン上に２色の画素が交互に配列されているために、２画素分水平転送すると、既に水平転送路２３に格納されている画素信号の直上に位置するのは同一色の画素信号となる。
【００４６】
時刻ｔ３において、図６（Ａ）に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｇ１，Ｒ１が転送され、水平転送路２３内に既に格納されている画素信号Ｇ１，Ｒ１と加算されて画素信号２Ｇ１，２Ｒ１となる。ここに、色情報を示すＲ、Ｇ、またはＢの前に付した数字は画素加算数を示している。時刻ｔ４において、図６（Ｂ）に示すように、左方向へ２画素分の水平転送が行われる。
【００４７】
時刻ｔ５において、図７に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｇ１，Ｒ１が転送され、水平転送路２３内に既に格納されている画素信号２Ｇ１，２Ｒ１と加算されて画素信号３Ｇ１，３Ｒ１となる。これにより、図４に示した画素配列の１ライン目の３画素加算が終了する。
【００４８】
次に、時刻ｔ６において、図８（Ａ）に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｂ２，Ｇ２が転送される。時刻ｔ７において、図８（Ｂ）に示すように、左方向へ２画素分の水平転送が行われる。
【００４９】
時刻ｔ８において、図９（Ａ）に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｂ２，Ｇ２が転送され、水平転送路２３内に既に格納されている画素信号Ｂ２，Ｇ２と加算されて画素信号２Ｂ２，２Ｇ２となる。時刻ｔ９において、図９（Ｂ）に示すように、左方向へ２画素分の水平転送が行われる。
【００５０】
時刻ｔ１０において、図１０に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｂ２，Ｇ２が転送され、水平転送路２３内に既に格納されている画素信号２Ｂ２，２Ｇ２と加算されて画素信号３Ｂ２，３Ｇ２となる。これにより、図４に示した画素配列の２ライン目の３画素加算が終了する。
【００５１】
続いて、時刻ｔ１１において、図１１（Ａ）に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｇ３，Ｒ３が転送される。時刻ｔ１２において、図１１（Ｂ）に示すように、左方向へ２画素分の水平転送が行われる。
【００５２】
時刻ｔ１３において、図１２（Ａ）に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｇ３，Ｒ３が転送され、水平転送路２３内に既に格納されている画素信号Ｇ３，Ｒ３と加算されて画素信号２Ｇ３，２Ｒ３となる。時刻ｔ１４において、図１２（Ｂ）に示すように、左方向へ２画素分の水平転送が行われる。
【００５３】
時刻ｔ１５において、図１３に示すように、垂直転送路２２から水平転送路２３へ画素信号Ｇ３，Ｒ３が転送され、水平転送路２３内に既に格納されている画素信号２Ｇ３，２Ｒ３と加算されて画素信号３Ｇ３，３Ｒ３となる。これにより、図４に示した画素配列の３ライン目の３画素加算が終了する。
【００５４】
そして、この時点で３画素加算信号（図４の符号Ｌ１ＨＤとして示した画素信号を３画素加算した信号）を水平転送路２３内に全て格納し終えたことになる。その後、撮像駆動部３は撮像素子２に水平転送パルスを連続的に印加して、水平転送路２３内の３画素加算信号を撮像信号処理部４へ向けて転送させる。
【００５５】
従って、この水平転送が終了した時刻ｔ１６においては、図１４に示すように、水平転送路２３内の画素信号がクリアされた状態となり、次の水平同期期間において、図４の符号Ｌ２ＨＤとして示した画素信号を３画素加算して読み出す動作が、上述と同様にして行われることになる。
【００５６】
上述したような画素加算読出の処理を行うと、画素信号の１画素分の垂直転送は、比較的短時間で行われる場合と、比較的長時間を要する場合とがあることが分かる。すなわち、図３〜図１４に示したような３画素加算読出の場合には、２画素分の水平転送を待って（つまり、図３の時間Ｔ１，Ｔ２に相当する時間だけ待って）１画素分の垂直転送が行われるときと、水平転送路２３内の全画素の水平転送を待って（つまり、図３の時間Ｔ３に相当する時間だけ待って）１画素分の垂直転送が行われるときとが、前者２回、後者１回の順序で繰り返されることになる。
【００５７】
そして、図１５に示すように、レンズ１により結像された被写体像の中に高輝度被写体像２９が存在すると、この高輝度被写体像２９の近傍において転送されるのを時間Ｔ１（＝Ｔ２）だけ待機していた画素信号には通常スミアが発生し、時間Ｔ３だけ待機していた画素信号には高輝度スミアが発生することになる。これら通常スミアと高輝度スミアとのスミアレベルの比は、上述したように、待機時間Ｔ１とＴ３との比になると考えられる。
【００５８】
このときには、スミアが発生している垂直ライン中に、図１５に示すように、垂直転送時間の相違に起因した通常スミア２５と高輝度スミア２６とが交互に水平方向の縞模様となって発生することになる。ここに、図１５は高輝度被写体が存在しているときに画素加算読出を行うとスミアに縞模様が発生する様子を示す図である。
【００５９】
こうしたスミアを、一般的な処理と同様に、ＯＢ領域２ｏｂ内の複数のライン分に渡って加算平均して得られるスミア補正用信号により一律に補正しても、図１６に示すようにスミアの縞模様は依然として残ることになる。ここに、図１６は図１５に示したスミアを一般的なスミア補正により処理したときの様子を示す図である。
【００６０】
そこで、本実施形態においては、図１８に説明するような、通常スミアと高輝度スミアとで異なるレベルのスミア補正を行うことにより、図１７に示すように、スミアの縞模様が大幅に軽減された画像を得ることができるようにしている。ここに、図１７は図１５に示したスミアを本実施形態のスミア補正により処理したときの様子を示す図である。
【００６１】
次に、図１８は、撮像装置におけるスミア補正処理を示すフローチャートである。
【００６２】
この処理を開始すると、スミア検出部９は、画像再構成部６により再構成された画像のＯＢ領域２ｏｂの画素信号の信号値を水平ライン方向に順次検出して、スミアを含む画素信号であるか否かを判定するための所定の閾値と比較する。そして、スミア検出部９は、この閾値を超える信号値の垂直ラインが２以上の所定数ライン以上連続した場合に、その垂直ラインをスミア垂直ラインであると検出する（ステップＳ１）。ここに、所定の閾値は、例えば、光学的黒部分の信号値を表すＯＢレベルを用いて、例えばＯＢレベル＋αとして算出される。ここに、係数αは、撮像素子２の特性や撮影シーンなどに応じて任意に設定することが可能なパラメータである。また、閾値を超える信号値の垂直ラインが所定数ライン以上連続した場合にのみスミア垂直ラインであると判定するようにしたのは、画素２１や垂直転送路２２に欠陥（この欠陥は、例えば孤立点として現れる）がある等によりノイズが発生して閾値を超える信号値となった場合と、スミアが発生して閾値を超える信号値となった場合と、を区別するためである。
【００６３】
スミア検出部９は、このような一水平ライン上におけるスミア垂直ラインの検出を、ＯＢ領域２ｏｂ内の複数ライン（あるいは全ライン）に対して行い、スミア垂直ライン上のＯＢ領域２ｏｂの画素信号の信号値と、上述した垂直転送路２２内の画素信号を分割する際の所定数（図３〜図１４に示した例では３）とに基づき、通常スミアを含む画素信号と高輝度スミアを含む画素信号とがなす垂直方向のパターンを検出する（ステップＳ２）。具体的には、スミア垂直ラインに属する画素の信号値の平均を各水平ライン毎に算出し、算出した平均値の値の上下動を上述した分割する際の所定数と照合して、図３〜図１４に示した例では水平３ライン毎に繰り返される通常スミア２ラインと高輝度スミア１ラインのパターンを検出する。
【００６４】
このような処理において、スミア検出部９は、スミアが生じている画素信号の信号値（スミアレベル）を検出する（ステップＳ３）。
【００６５】
そして、スミア演算部１０は、通常スミアが生じている複数ラインのＯＢ領域２ｏｂの画素信号を、例えば単純加算平均したりあるいは再帰的な加算平均したりした信号（以下では、ＯＢ平均化信号とよぶことにする）を算出する。このＯＢ平均化信号は、スミアレベル以外にもＯＢレベル等を含む信号であるために、スミア演算部１０は、さらに、スミアレベルのみを示す基準補正量となるスミア補正用信号を、ＯＢ平均化信号から例えば上述した（ＯＢレベル＋α）を減算したもの、すなわち、
スミア補正用信号＝ＯＢ平均化信号−（ＯＢレベル＋α）
として算出する（ステップＳ４）。なお、このステップＳ４は、スミアレベルの補正をＯＢレベルの補正の前段に行う場合を想定したものであるが、これとは逆の順序、つまりスミアレベルの補正をＯＢレベルの補正の後段に行う場合には、ＯＢレベル＝０としてこのステップＳ４の処理を行えば良い。
【００６６】
さらに、スミア演算部１０は、高輝度スミア用の補正係数ｋを、第１の垂直転送時間Ｔ１と第２の垂直転送時間Ｔ３との比として、
ｋ＝Ｔ３／Ｔ１
により算出する（ステップＳ５）。なお、第１の垂直転送時間Ｔ１と第２の垂直転送時間Ｔ３は撮像素子２の種類や撮像駆動部３の構成によって予め決まっているために、補正係数ｋを予め算出して図示しない不揮発性メモリに製造時に記録しておき、スミア補正部７により処理を行う際に不揮発性メモリから読み出すようにしても良い。
【００６７】
その後、画像再構成部６からスミア補正部７に入力される画素信号が有効領域２ｅｆの画素信号になったところで、スミア減算部１１は、処理対象の画素信号が属する垂直ラインがステップＳ１において検出したスミア補正対象となるスミア垂直ラインであるか否かを各画素毎に判定する（ステップＳ６）。
【００６８】
ここでスミア垂直ラインでない場合には、スミア減算部１１は、スミア補正を行うことなく入力した画素信号をそのまま画像処理部８へ出力する（ステップＳ７）。
【００６９】
一方、スミア垂直ラインである場合には、ステップＳ２においてＯＢ領域２ｏｂに対して検出したパターンを有効領域２ｅｆにも適用して、処理対象の画素信号が、通常スミアを含む信号であるか、あるいは高輝度スミアを含む信号であるかを判定する（ステップＳ８）。
【００７０】
そして、高輝度スミアを含む画素信号でない場合には、スミア減算部１１は、画素信号からステップＳ４において算出した基準補正量となるスミア補正用信号を減算して、画像処理部８へ出力する（ステップＳ９）。
【００７１】
また、高輝度スミアを含む画素信号である場合には、スミア減算部１１は、画素信号から基準補正量となるスミア補正用信号に補正係数ｋを乗算した信号を減算して、画像処理部８へ出力する（ステップＳ１０）。
【００７２】
上述したステップＳ９またはステップＳ１０の処理は、有効領域２ｅｆ内のスミア成分を含む全ての画素信号に対して行われる。
【００７３】
こうして、スミア成分を含む全ての画素信号に対してステップＳ９またはステップＳ１０の処理が行われたら、この処理を終了する。
【００７４】
なお、上述では、垂直転送路内の画素信号を連続する所定数の画素信号毎に分割して、分割された所定数の画素信号の内の、第１の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第１の垂直転送時間と、第２の画素信号を１画素分だけ垂直方向へ移動して上記水平転送路へ転送するのに要する第２の垂直転送時間と、が異なるように読出制御する場合として、画素加算読出を例に挙げた。しかし、このような読出制御が行われるのは、画素加算読出に限るものではなく、例えば画素間引読出であっても同様である。すなわち、画素間引読出を行う場合、例えば、図３〜図１４に示したｔ３、ｔ５、ｔ８、ｔ１０、ｔ１３、ｔ１５において行っている垂直転送路２２から水平転送路２３への転送処理を、垂直転送路２２から電荷を掃き捨てる等により水平転送路２３へ転送しないような処理に変更すれば、３ライン中の２ラインを間引く処理が実現されることになる。このために、画素加算読出を例に挙げて説明した上述の技術は、画素間引読出についても同様に適用することができる。
【００７５】
また、上述ではスミア補正を行う撮像装置について説明したが、本発明は撮像装置に限定されるものではなく、撮像装置から読み出されたスミアを含む画像信号に上述したようなスミア補正を行う方法であっても良いし、このスミア補正方法を実現するためのスミア補正処理プログラムやスミア補正処理プログラムを記録する記録媒体等であっても構わない。
【００７６】
このような実施形態１によれば、画素信号を１画素分垂直転送するのに要する時間が均等でないことに起因して通常スミアと高輝度スミアとが発生しても、通常スミアを含む画素信号であるか高輝度スミアを含む画素信号であるかに応じて、スミア補正用信号を減算するか、第１の垂直転送時間と第２の垂直転送時間との比に応じたスミア補正係数をスミア補正用信号に乗算したものを減算するかを異ならせるようにしたために、縞状のスミアを効果的に軽減することが可能となる。
【００７７】
また、画素加算読出を行う場合には、画素加算信号の読出順序がラスタスキャン等とは異なるが、画像再構成部６により正しい画素順序に再構成された画像に対してスミア補正を行っているために、正しい画素順序の画像に対するアルゴリズムをそのまま適用することができる。
【００７８】
そして、上述した処理を、同一色同士の画素加算が行われる単板カラー撮像素子に対しても適用することができる。
【００７９】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【００８０】
１…レンズ
２…撮像素子（電荷転送型固体撮像素子、単板カラー撮像素子）
２ｅｆ…有効領域
２ｏｂ…ＯＢ領域
３…撮像駆動部（読出制御部）
４…撮像信号処理部
５…画像信号処理部
６…画像再構成部
７…スミア補正部
８…画像処理部
９…スミア検出部
１０…スミア演算部
１１…スミア減算部
１２…表示装置
１３…ＡＥ／ＡＦ処理部
１４…メモリ
１５…記録媒体
１６…操作部
１７…制御部
２１…画素
２２…垂直転送路
２３…水平転送路
２５…通常スミア
２６…高輝度スミア
２９…高輝度被写体像
【図１】
2012191591.tif 000003
【図２】
2012191591.tif 000004
【図３】
2012191591.tif 000005
【図４】
2012191591.tif 000006
【図５】
2012191591.tif 000007
【図６】
2012191591.tif 000008
【図７】
2012191591.tif 000009
【図８】
2012191591.tif 000010
【図９】
2012191591.tif 000011
【図１０】
2012191591.tif 000012
【図１１】
2012191591.tif 000013
【図１２】
2012191591.tif 000014
【図１３】
2012191591.tif 000015
【図１４】
2012191591.tif 000016
【図１５】
2012191591.tif 000017
【図１６】
2012191591.tif 000018
【図１７】
2012191591.tif 000019
【図１８】
2012191591.tif 000020