(57)【要約】【課題】画像信号の読み出し動作中に変化する残像成分により生じる残像現象を適切に補正できるようにする。【解決手段】光電変換機能を有する複数の電荷蓄積部が行列状に配置された固体撮像素子から電荷蓄積部に蓄積された電荷に応じた第１の画像信号の読み出しを行った後に電荷蓄積部の電荷をリセットし、そのリセットの後に電荷蓄積部に蓄積された電荷に応じた第２の画像信号の読み出しを行い、読み出した第２の画像信号から、第１の画像信号の読み出しを行ってからリセットを行うまでの時間とリセットを行ってから第２の画像信号の読み出しを行うまでの時間とに応じて設定される残像係数を第１の画像信号に施した残像量を画素毎に減算するようにして、経過時間に依存して変化する残像成分に係る残像補正を行えるようにする。【選択図】図２
2014027520.tif 000002
【特許請求の範囲】
【請求項１】
光電変換により入射光に応じた電荷を蓄積する複数の電荷蓄積部が行列状に配置された固体撮像素子と、
前記固体撮像素子を駆動制御して、前記電荷蓄積部に蓄積された電荷に応じた第１の画像信号の読み出しを行い、前記第１の画像信号の読み出し後に前記電荷蓄積部の電荷をリセットするための第１のリセットを行い、前記第１のリセットの後に前記電荷蓄積部に蓄積された電荷に応じた第２の画像信号の読み出しを行う制御手段と、
前記固体撮像素子から読み出された前記第１の画像信号に残像係数を施して得られる残像量を、前記第２の画像信号から画素毎に減算する残像補正手段とを備え、
前記残像係数は、前記第１の画像信号の読み出しを行ってから前記第１のリセットを行うまでの時間と、前記第１のリセットを行ってから前記第２の画像信号の読み出しを行うまでの時間とに応じて設定されることを特徴とする撮像装置。
【請求項２】
前記第１のリセットは、前記固体撮像素子が有するすべての電荷蓄積部を一括してリセットすることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記電荷蓄積部の電荷をリセットするための第２のリセットを行い、前記第２のリセットの後に前記第１の画像信号の読み出しを行うよう前記固体撮像素子を駆動制御し、
前記第２のリセットは、前記固体撮像素子が有する電荷蓄積部を前記固体撮像素子から第１の画像信号の読み出しと同じ速度で順次リセットすることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記固体撮像素子が有する電荷蓄積部を間引いて前記第１の画像信号の読み出しを行い、
前記残像補正手段は、前記第２の画像信号から、近傍の画素の前記第１の画像信号に残像係数を施して得られる残像量を減算することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記第１のリセットは、前記固体撮像素子が有する電荷蓄積部を前記固体撮像素子からの画像信号の読み出しと同じ速度で順次リセットすることを特徴とする請求項１記載の撮像装置。
【請求項６】
前記撮像装置は前記固体撮像素子を遮光する遮光手段をさらに有し、
前記第１のリセットは、前記固体撮像素子が有する電荷蓄積部を当該遮光手段の走行と同じ速度で順次リセットすることを特徴とする請求項１記載の撮像装置。
【請求項７】
光電変換により入射光に応じた電荷を蓄積する複数の電荷蓄積部が行列状に配置された固体撮像素子から、前記電荷蓄積部に蓄積された電荷に応じた第１の画像信号の読み出しを行う工程と、
前記第１の画像信号の読み出し後に前記電荷蓄積部の電荷をリセットするための第１のリセットを行う工程と、
前記第１のリセットの後に前記固体撮像素子から前記電荷蓄積部に蓄積された電荷に応じた第２の画像信号の読み出しを行う工程と、
読み出した前記第１の画像信号に残像係数を施して得られる残像量を、読み出した前記第２の画像信号から画素毎に減算する残像補正処理を行う工程とを有し、
前記残像係数は、前記第１の画像信号の読み出しを行ってから前記第１のリセットを行うまでの時間と、前記第１のリセットを行ってから前記第２の画像信号の読み出しを行うまでの時間とに応じて設定されることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ型の固体撮像素子での画像信号の読み出しには、ローリング読み出しがよく用いられている。ローリング読み出しは、固体撮像素子において行列状に配置された画素の電荷蓄積部から、例えば一行ずつ順次信号電荷を読み出す方式である。ローリング読み出しとともに、電子的なシャッターとして用いられるのが、ローリング電子シャッターである。ローリング電子シャッターは、一画面分の画像信号の読み出しにかかる時間よりも短い蓄積時間を固体撮像素子に設定する場合に用いられる。ローリング電子シャッターは、画素において信号を読み出すための転送スイッチをオフとすることで行われる、いわゆるリセット解除を、例えば一行ずつ順次行う。リセット解除から信号の読み出しまでの時間がすべての行で等しくなるように設定すれば、画面内の蓄積時間が均一な電子シャッターを実現することができる。このリセット動作が不十分であると、読み出した画像信号に残像が現れる。
【０００３】
残像を除去する方法の一つとして、例えば下記特許文献１記載の方法が提案されている。特許文献１には、画素受光部の蓄積電荷をフィールドごとに出力するＣＣＤ型等の固体撮像素子の、前記画素受光部から垂直転送部への電荷の転送の際に、前記画素受光部に残存する電荷を除去する残像除去方法が記載されている。この残像除去方法において、第Ｎフィールドの信号から該第Ｎフィールドより前の信号転送後に残っている電荷により生じる電位に応じた残像量を差し引くことを特徴とする残像除去方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１５３５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された技術では、あるフィールドの信号から、それより前のフィールドの信号量に依存した残像量を減算するのみなので、画像信号の読み出し動作中に増加するような残像成分については適切に補正することができなかった。例えば、特許文献１に開示された技術では、ライブ画像の連続表示後の静止画撮影における残像を適切に補正することができなかった。
【０００６】
本発明は、画像信号の読み出し動作中に変化する残像成分により生じる残像現象を適切に補正できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、光電変換により入射光に応じた電荷を蓄積する複数の電荷蓄積部が行列状に配置された固体撮像素子と、前記固体撮像素子を駆動制御して、前記電荷蓄積部に蓄積された電荷に応じた第１の画像信号の読み出しを行い、前記第１の画像信号の読み出し後に前記電荷蓄積部の電荷をリセットするための第１のリセットを行い、前記第１のリセットの後に前記電荷蓄積部に蓄積された電荷に応じた第２の画像信号の読み出しを行う制御手段と、前記固体撮像素子から読み出された前記第１の画像信号に残像係数を施して得られる残像量を、前記第２の画像信号から画素毎に減算する残像補正手段とを備え、前記残像係数は、前記第１の画像信号の読み出しを行ってから前記第１のリセットを行うまでの時間と、前記第１のリセットを行ってから前記第２の画像信号の読み出しを行うまでの時間とに応じて設定されることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、経過時間に依存して変化する残像成分に係る補正が可能になり、適切な残像補正を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態による撮像装置の構成例を示す図である。
【図２】本実施形態における撮像装置の処理動作例を示すフローチャートである。
【図３】本実施形態における固体撮像素子の単位画素の等価回路図を示す図である。
【図４】本実施形態における固体撮像素子に係る露光・走査方法を示す図である。
【図５】本実施形態における残像係数の算出手法の第１の例の説明図である。
【図６】本実施形態における固体撮像素子に係る露光・走査方法を示す図である。
【図７】本実施形態における残像係数の算出手法の第２の例の説明図である。
【図８】本実施形態における残像係数の算出手法の第３の例の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。
【００１１】
以下に説明する本実施形態において課題とする残像のメカニズムは、概略において下記のような成分である。ライブ画像の表示時の露光中に発生した信号電荷の一部が、固体撮像素子を成す半導体中の欠陥等にトラップされ、一画面分の画像信号の読み出し時間以上の時間をかけて画素の電荷蓄積部であるフォトダイオードに到達する。このようにして次のフレーム以降の画像信号に混じる成分の残像電荷がある。また、静止画撮影においては、露光時間を決定する機械的なシャッターであるメカニカルシャッターを用いることが多く、ローリング電子シャッターではなく、メカニカルシャッターの速度に合わせた固体撮像素子の全画素ほぼ一括のリセットが行われる。このように、ライブ画像の表示後の静止画撮影においては、ライブ画像の表示時の露光中に発生した信号電荷は全画面ほぼ一括のリセットが行われるのに対し、静止画の画像信号の読み出しはローリング読み出しが行われる。そのため、ライブ画像の露光が均一な場合においても、静止画の画像信号の読み出し時における残像電荷量に画面の上下で差が生じてしまう。この画面の上下での残像電荷量の差は、静止画の画像信号にとって見かけ上は画面の上下でのオフセット成分の差となってしまい、ホワイトバランス補正をかけると色むらとなって目立ってしまう。そこで、本実施形態における撮像装置は、このような画像信号の読み出し中に変化する残像成分を適切に補正し、画像の劣化を抑制する。
【００１２】
図１は、本発明の一実施形態による撮像装置の構成例を示すブロック図である。
図１において、光学系１は、レンズ、絞り及びメカニカルシャッターを含む。固体撮像素子２は、例えばＣＭＯＳイメージセンサであり、光学系１で結像された被写体像（被写体像に係る入射光）を光電変換し電気信号として取り出す。相関二重サンプリング（ＣＤＳ）回路３は、固体撮像素子２から出力されたアナログ電気信号をサンプリングする。Ａ／Ｄ変換器４は、ＣＤＳ回路３によってサンプリングされたアナログ信号をアナログ−デジタル変換処理しデジタル信号に変換する。
【００１３】
Ａ／Ｄ変換器４によりデジタル化された画像信号は、画像メモリ８を介して信号処理回路７により各種信号処理が施されて、記録回路９を介して記録媒体１０に記録される。信号処理回路７により施される信号処理には、例えばホワイトバランス補正、ガンマ補正、及び残像補正などの画像処理がある。記録回路９は、記録媒体１０とのインターフェイス回路である。また、信号処理回路７による信号処理が施された画像信号は、インターフェイス回路である表示回路１１を通して液晶ディスプレイなどの表示装置１２に表示することも可能である。
【００１４】
タイミング発生回路５は、駆動回路６を通して、光学系１におけるレンズの絞りやメカニカルシャッター、及び固体撮像素子２の動作タイミングの制御を行うなどして撮像系を駆動する。また、タイミング発生回路５は、撮像系の駆動ひいては固体撮像素子２の出力信号に同期して、ＣＤＳ回路３及びＡ／Ｄ変換器４を駆動・制御する。タイミング発生回路５による駆動制御によって、例えば、固体撮像素子２に対しローリング電子シャッターと画像信号のローリング読み出しを繰り返し設定してライブの画像を取得することが可能である。また、タイミング発生回路５による駆動制御によって、例えば、メカニカルシャッターと動作を関連して固体撮像素子２に対し全画素ほぼ一括のリセットを行った後に画像信号の読み出しを設定して静止画画像を取得することが可能である。
【００１５】
システム制御部１３は、揮発性メモリ１４に一時記憶されたプログラムを読み出して実行することにより撮像装置全体を制御する。ＲＯＭ１５は、システム制御部１３による制御実行時に転送されるべきプログラムや各種データを格納した不揮発性メモリである。ＲＯＭ１５は、後述の残像係数を生成する入出力関数なども格納している。
【００１６】
図２は、本実施形態における撮像装置の制御フロー及び画像信号に係る画像処理フローの例を示すフローチャートである。図１に図示しないスイッチにより撮像装置のメイン電源がオンされると、次に、システム制御部１３を含むシステム制御系の電源がオンされる（ステップＳ２０１）。さらに、光学系１、固体撮像素子２、ＣＤＳ回路３及びＡ／Ｄ変換器４を含む撮像系の電源がオンされる（ステップＳ２０２）。
【００１７】
次に、システム制御部１３による制御によってメカニカルシャッターが開かれ（ステップＳ２０３）、システム制御部１３が固体撮像素子２に駆動設定信号を与える（ステップＳ２０４）。これにより、ライブ画像を表示装置１２に連続表示する、いわゆる電子ビューファインダー機能を起動する（ステップＳ２０５）。
【００１８】
次に、露出演算から露出設定までを行うＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）処理が行われる（ステップＳ２０６）。撮影に先立って露光量を制御するために、システム制御部１３は、撮像系からデジタル化された画像信号を画像メモリ８に取得して信号処理回路７に露出演算を行わせる。露出演算では、例えば画像信号から抽出した輝度情報を画面のエリア別に重み付け演算して、現状よりも何段明るくすればよいか又は暗くすればよいかを演算する。システム制御部１３は、露出演算の演算結果を受けて光学系１における絞りを駆動することで、次のフレームから適切な明るさの画像を得る。なお、固体撮像素子２がローリング電子シャッター機能を有する場合には、同時にシャッター速を変更するようにしてもよい。
【００１９】
ステップＳ２０４にてレリーズスイッチがオンされる（押される）まで、連続的にＡＥ処理が行われ、表示装置１２に表示されるライブ画像も更新される。以上のようにして適正な露出が確認された後、シャッターレリーズボタンの押下を契機として、静止画撮影が開始される（ステップＳ２０７）。なお、後述する残像量算出のために、第１の画像信号としてライブ画像の最終フレームＳｌｖ（ｍ，ｎ）がメモリ８に格納される（ステップＳ２０８）。
【００２０】
静止画撮影の露光（ステップＳ２０９）が完了すると、固体撮像素子２から静止画に係る画像信号が読み出される。固体撮像素子２から出力された画像信号は、Ａ／Ｄ変換器４でＡ／Ｄ変換され、第２の画像信号として画像メモリ８に一時格納される（ステップＳ２１０、Ｓ２１１）。ここで、ステップＳ２０９での露光は、メカニカルシャッターを伴ってなされ、少なくとも固体撮像素子２の画素についての一括のリセット動作を含むものとする。
【００２１】
次に、信号処理回路７が、画素毎の残像補正を含む各種信号処理を行う。図２においては、信号処理回路７は、ステップＳ２１２〜Ｓ２１６にて固体撮像素子２のｎライン目（０≦ｎ＜Ｎ、Ｎは自然数）の画素毎の残像係数及び残像量を求め、ステップＳ２１７〜Ｓ２２０にてｎライン目の画素毎に画像信号から残像量を減算する。
【００２２】
まず、信号処理回路７は、ラインカウントｎ及び画素カウントｍについて、初期値ｎ＝０、ｍ＝０を設定する（ステップＳ２１２、Ｓ２１３）。そして、信号処理回路７は、座標（０，０）の画素に必要な残像係数及び残像量を下式に従って算出する（ステップＳ２１４）。
残像係数＿（０，０）＝ｆ（Ｔ（０，０），Ｓｌｖ（０，０））
残像量＿（０，０）＝残像係数＿（０，０）×Ｓｌｖ（０，０）
ここで、Ｔ（０，０）は、一括のリセット動作が行われた時点から、座標（０，０）の画素の電荷蓄積部から静止画の画像信号Ｓ（０，０）を読み出すまでの経過時間を表す。また、関数ｆは、主にＴ（０，０）を入力とするＲＯＭ１５内のテーブルとして実現される。
【００２３】
続いて、信号処理回路７は、画素カウントｍを１ずつインクリメントして、画素カウントｍが（（固体撮像素子２の水平方向の画素数Ｍ）−１）に到達するまで、同様の演算を行う（ステップＳ２１４〜Ｓ２１６）。０ライン目の画素についての残像係数及び残像量の一般式は下記のようになる。なお、固体撮像素子２の構成として、画素の電荷蓄積部から画像信号を読み出す時刻が水平方向の位置（ｍ）によらずほとんど一致しているものが多いので、その場合には下式でのカウントｍに関する残像係数の算出は省略することも可能である。
残像係数＿（ｍ，０）＝ｆ（Ｔ（ｍ，０），Ｓｌｖ（ｍ，０））
残像量＿（ｍ，０）＝残像係数＿（ｍ，０）×Ｓｌｖ（ｍ，０）
【００２４】
信号処理回路７は、０ライン目のすべての画素について残像係数及び残像量の算出が終了すると、０ライン目の残像補正処理を実行する（ステップＳ２１７）。残像補正済みの画像信号は、静止画の画像信号Ｓ（ｍ，０）から残像量を減算して下式のように表される。
残像補正済みの画像信号＝Ｓ（ｍ，０）−残像量＿（ｍ，０）
続いて、信号処理回路７がラインカウントｎを１だけインクリメントし（ステップＳ２１８）、当該ラインの残像補正処理が完了する。
【００２５】
インクリメントされたラインカウントｎに対し、ステップＳ２１３〜Ｓ２１７での残像係数及び残像量の算出処理と残像補正処理が、ラインカウントｎが固体撮像素子２の最終行Ｎ−１に至るまで繰り返される。なお、固体撮像素子２の構成として、ローリング読み出しに代表されるように、画素の電荷蓄積部から画像信号を読み出す時刻が垂直方向の位置（ｎ）で順次ずれているものが多いので、その場合には下式でのカウントｎに関する残像係数の算出が必須となる。
【００２６】
以上のようにして得られる座標（ｍ，ｎ）の画素に適用される残像係数及び残像量、残像補正済みの画像信号を示す一般式はそれぞれ下記のようになる。
残像係数＿（ｍ，ｎ）＝ｆ（Ｔ（ｍ，ｎ），Ｓｌｖ（ｍ，ｎ））
残像量＿（ｍ，ｎ）＝残像係数＿（ｍ，ｎ）×Ｓｌｖ（ｍ，ｎ）
残像補正済みの画像信号＝Ｓ（ｍ，ｎ）−残像量＿（ｍ，ｎ）
残像補正済みの画像信号は、画像メモリ８に一時格納される（ステップＳ２２０）。
【００２７】
最後に、信号処理回路７により、残像補正済みの画像信号が、記録回路９を通して記録媒体１０に記録されて一連の撮影動作が完了する。
【００２８】
なお、ライブ画像の連続表示動作（ステップＳ２０５）やＡＥ処理（ステップＳ２０６）では、解像度よりもリアルタイム性を重視するために、固体撮像素子２に対し行方向及び／又は列方向に加算処理及び／又は間引き処理が設定されることが多い。例えば、ライブ画像の最終フレームＳｌｖが水平方向、垂直方向ともに１／３の画素数となっている場合には、残像補正処理にあたっては次のように処理すれば良い。信号処理回路７は、画像メモリ８に格納されたＳｌｖに水平方向、垂直方向ともに３倍の画素数に増加する拡大処理を行って、Ｓｌｖ（ｍ，ｎ）に置き換えれば良い。あるいは拡大処理を行わずに、ライブ画像の最終フレームＳｌｖを用いて残像量を求め、対象画素に対して近傍の画素における残像量を用いるようにしても良い。また、ライブ画像の連続表示に係る露出条件と静止画撮影に係る露出条件とは異なることもあるので、そのような場合にはライブ画像の最終フレームＳｌｖ（ｍ，ｎ）を信号電荷量の単位に変換した上で残像量を算出するように構成しても良い。
【００２９】
次に、ライブ画像表示及び静止画撮影に関連する固体撮像素子２への露光状態と画像信号の読み出しシーケンスについて、図３及び図４にて一例を説明する。
【００３０】
図３は、ＣＭＯＳ型の固体撮像素子２における単位画素ＰＩＸｎ（ｍ）の等価回路図を示す図である。固体撮像素子２には複数の単位画素ＰＩＸｎ（ｍ）が行列状に配置されている。図３に示す単位画素ＰＩＸｎ（ｍ）は、ｎ行目、ｍ列目に配された画素を示している。光電変換機能を有するとともに電荷蓄積部としてのフォトダイオードＰＤｎ（ｍ）と、浮遊拡散層部ＦＤｎ（ｍ）との間に転送スイッチＴＸｎ（ｍ）が設けられており、フォトダイオードＰＤｎ（ｍ）の電荷を浮遊拡散層部ＦＤｎ（ｍ）に転送することができる。転送スイッチＴＸｎ（ｍ）は、電荷転送パルスΦＴＸｎによりオン／オフ制御される。また、リセットスイッチＲＥＳｎ（ｍ）は、浮遊拡散層部ＦＤｎ（ｍ）を電源ＶＤＤ１の電位にリセットするためのスイッチであり、リセットパルスΦＲＥＳｎによりオン／オフ制御される。浮遊拡散層部ＦＤｎ（ｍ）に信号として読み出された電荷は、浮遊拡散層部ＦＤｎ（ｍ）のリセット電位との差分電圧として、増幅トランジスタＳＦのゲートに入力されて垂直出力線Ｖｍ上に読み出される。行選択トランジスタＳＥＬをオン状態にすると、増幅トランジスタＳＦと垂直出力線に接続された図示しない電流源とによって、電源電位をＶＤＤ２とするソースフォロワ回路が構成されて、前記差分電圧の読み出しが実現される。
【００３１】
図４は、固体撮像素子２のライブ画像の信号読み出しから静止画撮影及び静止画の画像信号読み出しに係る露光及び行のシフトタイミングの一例を示す図である。図４においては、横軸が経過時間を表し、縦軸は行方向ｎ（０≦ｎ＜Ｎ）を表す。図４において、斜め実線４００は、各行の電荷転送パルスΦＴＸｎにより転送スイッチＴＸｎがオフ状態からオン状態へ変化した時刻を、行方向に結んだ包絡線である。この斜め実線４００で示されるタイミングが、画像信号の元となる信号電荷がフォトダイオードＰＤｎから読み出されたタイミングを表す。また、斜め破線４０１は、各行の電荷転送パルスΦＴＸｎにより転送スイッチＴＸｎがオン状態からオフ状態へ変化した時刻を、行方向に結んだ包絡線である。この斜め破線４０１で示されるタイミングが、画像信号の元となる信号電荷がフォトダイオードＰＤｎに蓄積され始めたタイミングを表す。つまり、図４に示す例において、ライブ画像の連続表示中は、いわゆるローリング電子シャッターが用いられており、画像信号の読み出しと同じ速度で、電荷蓄積部であるフォトダイオードＰＤｎの電荷が順次リセットされている。
【００３２】
ライブ画像の連続表示中は、図４に示したようにメカニカルシャッター等による遮光のなされない状態である。このライブ画像の連続表示時には、画像信号の読み出し速度に合わせて前述のローリング電子シャッターを行シフトしていき、各ラインの画素行を順次リセットする。このように制御することで、各ラインの画素行をリセットする時刻と読み出す時刻との差分によって設定したシャッター時間が、斜め実線４００と斜め破線４０１とを対辺とする平行四辺形に見えるように全行ほぼ同一となる。
【００３３】
また、ライブ画像表示から静止画撮影に移行すると、撮影にメカニカルシャッターが用いられる。メカニカルシャッターは通常、ローリング読み出しよりも十分に速い速度で固体撮像素子２の遮光を完了することができるので、露光画面内の蓄積開始時刻のずれは小さい。それに伴い、静止画撮影においては、通常、撮影前に全画面一括のリセット動作４０２が行われる。すなわち、固体撮像素子２における全ラインの画素行に対して、まずリセットパルスΦＲＥＳｎ及び電荷転送パルスΦＴＸｎが印加されて転送スイッチＴＸｎ及びリセットスイッチＲＥＳｎがオン状態とされる。その後、電荷転送パルスΦＴＸｎにより全画素行の転送スイッチＴＸｎが一斉にオフ状態とされる。この一括のリセット動作により、ライブ画像の最終フレームに起因する残像電荷は一旦消去されるが、静止画撮影における画像信号の読み出し時間まで及ぶ長いライフタイムの残像成分は残存したままである。このような残像成分が、静止画撮影の画像信号に混入することによって静止画の画面内での上下むらを発生させる。
【００３４】
次に、本実施形態における撮像装置での残像補正処理に使用される残像係数を生成するための関数ｆ及び一括リセット動作から画像信号を読み出すまでの経過時間Ｔ（ｍ，ｎ）について、詳細を説明する。
【００３５】
（第１の例）
以下、残像係数の算出手法の第１の例について、図５を参照して説明する。
半導体基板中で発生した信号電荷のうち、欠陥にトラップ等されたライフタイムτの残像電荷成分は、下式に示す経過時間ｔの関数に依存してフォトダイオードＰＤに到達する。
ｆ（ｔ）＝１−ｅｘｐ［−ｔ／τ］
この関数ｆの具体形状を図５（Ａ）に示す。
【００３６】
ここで、ライブ画像の最終フレームの読み出し以降の残像電荷成分は、所定の静止画移行時間と静止画撮影のための蓄積時間と画素行毎に異なる読み出し時間とを含む期間においてもフォトダイオードＰＤに到達し得る。しかし、静止画撮影に係る信号電荷の蓄積開始の直前において固体撮像素子２の全画素に対する一括のリセット動作４０２（第１のリセット）が行われることにより、それまでにフォトダイオードＰＤに到達した残像電荷成分はキャンセルされてしまう。キャンセルされる成分は、ライブ画像の最終フレームの読み出しから一括のリセット動作４０２までの時間Ｔ０（ｍ，ｎ）を代入して、
ｆ（Ｔ０（ｍ，ｎ））＝１−ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］
と算出される。
【００３７】
次に、一括のリセット動作４０２を行った後に残像電荷成分がフォトダイオードＰＤに到達することを考慮する。この残像電荷成分は、一括のリセット動作４０２から画素（ｍ，ｎ）の信号電荷を読み出すまでの経過時間Ｔ１（ｍ，ｎ）を代入して、
ｆ（Ｔ１（ｍ，ｎ））＝１−ｅｘｐ［−Ｔ１（ｍ，ｎ）／τ］
と算出される。
【００３８】
以上のことから、残像係数は、
ｆ（Ｔ１（ｍ，ｎ））−ｆ（Ｔ０（ｍ，ｎ））＝
ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］−ｅｘｐ［−Ｔ１（ｍ，ｎ）／τ］
と計算できる。
【００３９】
なお、図５（Ｂ）において、時間Ｔ０（ｍ，ｎ）は、ライブ画像の最終フレームの画像信号の読み出し時刻を時刻０としているので一括のリセット動作４０２までの時間が行毎に異なる様子を示している。時間Ｔ１（ｍ，ｎ）は、静止画撮影における蓄積時間とｎ行目読み出しまでの時間との和として表している。
【００４０】
また、残像係数を生成するための関数ｆの関数形から明らかなように、これを一次関数で近似し、時間Ｔ（ｍ，ｎ）の一次関数として、残像係数を求めるように簡素化しても相応の効果が得られる。また、ローリング読み出しは、ｎ行目の読み出しまでの時間がｎの値に比例しているので、時間Ｔ１（ｍ，ｎ）を変数ｎの一次関数として、下式のように算出しても同様の効果が得られる。すなわち、Ａを定数として、
ｆ（Ｔ（ｍ，ｎ））＝
ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］×（１−Ａ×ｅｘｐ［−ｎ／τ］）
とする。
【００４１】
（第２の例）
次に、残像係数の算出手法の第２の例について、図６及び図７を参照して説明する。
図４に示した固体撮像素子２の露光及び画像信号の読み出し方式では、ライブ画像の連続表示から静止画撮影への移行時間中に露光が一旦途切れていた。すなわち、静止画撮影における露光開始もメカニカルシャッターによって規定する方式を仮定している。近年は、固体撮像素子２の電子シャッター機能を利用して、フォトダイオードＰＤの蓄積開始を以って静止画撮影の露光開始とする撮影方法が提案されている。例えば、「電子先幕シャッター」と称する方式があり、これを用いた場合の固体撮像素子２の露光及び画像信号の読み出し方式を、図６を参照して説明する。なお、図６において斜め実線４００及び斜め破線４０１は、図４に示した斜め実線４００及び斜め破線４０１と同様である。
【００４２】
図３に示した単位画素ＰＩＸｎ（ｍ）をＭ列×Ｎ行の行列状に配置したＣＭＯＳ型の固体撮像素子２において、電子先幕シャッターとは以下に述べる動作である。ｎライン目（ｎ＜Ｎ）の画素行において、まずリセットパルスΦＲＥＳｎと電荷転送パルスΦＴＸｎが印加されて転送スイッチＴＸｎ及びリセットスイッチＲＥＳｎをオン状態とする。これにより、ｎライン目の全画素のフォトダイオードＰＤｎとフローティングディフュージョン部ＦＤｎに蓄積されている不要電荷を除去するリセット動作が行われる。次いで、電荷転送パルスΦＴＸｎにより転送スイッチＴＸｎがオフ状態となり、フォトダイオードＰＤｎに発生した光電荷が蓄積される蓄積動作が開始する。（ｎ＋１）ライン目以降に対しても同様の蓄積開始制御が行われる。蓄積開始制御を行った後にメカニカルシャッターを駆動して遮光するが、ｎライン目の蓄積開始時刻とｎライン目の画素行をメカニカルシャッターによって遮光する時刻との差分が、ｎライン目の画素行における露光時間となる。図６の電子先幕シャッターリセット動作６０２に示すように、メカニカルシャッターがその走行速度によって順次画素行を遮光するのに合わせて、電子シャッター動作の行シフトタイミングを設定すれば、すべての画素行における露光時間をほぼ揃えることができる。
【００４３】
このような露光方式においても、本実施形態における撮像装置での残像補正処理を適用するには、時間Ｔ１（ｍ，ｎ）を、第１のリセットとしての電子先幕シャッターによるリセット動作から、静止画の画像信号を読み出すまでの時間として算出すれば良い。この場合の残像係数の算出手法の例を、図７を参照して説明する。図７（Ａ）には、前述した関数ｆを示している。
【００４４】
ライブ画像の最終フレームの読み出し以降の残像電荷成分は、所定の静止画移行時間と静止画撮影のための蓄積時間と画素行毎に異なる読み出し時間とを含む期間においてもフォトダイオードＰＤに到達し得る。しかし、静止画撮影に係る信号電荷の蓄積開始の直前において電子先幕リセット動作６０２（第１のリセット）が行われることにより、それまでにフォトダイオードＰＤに到達した残像電荷成分はキャンセルされてしまう。キャンセルされる成分は、ライブ画像の最終フレームの読み出しから電子先幕リセット動作６０２までの時間Ｔ０（ｍ，ｎ）を代入して、
ｆ（Ｔ０（ｍ，ｎ））＝１−ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］
と算出される。
【００４５】
次に、電子先幕リセット動作６０２を行ってから残像電荷成分がフォトダイオードＰＤに到達することを考慮する。この残像電荷成分は、電子先幕リセット動作６０２から画素（ｍ，ｎ）の信号電荷を読み出すまでの経過時間Ｔ１（ｍ，ｎ）を代入して、
ｆ（Ｔ１（ｍ，ｎ））＝１−ｅｘｐ［−Ｔ１（ｍ，ｎ）／τ］
と算出される。
【００４６】
以上のことから、残像係数は、
ｆ（Ｔ１（ｍ，ｎ））−ｆ（Ｔ０（ｍ，ｎ））＝
ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］−ｅｘｐ［−Ｔ１（ｍ，ｎ）／τ］
と計算できる。
【００４７】
なお、図７（Ｂ）において、時間Ｔ０（ｍ，ｎ）は、ライブ画像の最終フレームの画像信号の読み出し時刻を時刻０としているので電子先幕リセット動作６０２までの時間が行毎に異なる様子を示している。時間Ｔ１（ｍ，ｎ）は、静止画撮影における蓄積時間とｎ行目読み出しまでの時間との和として表している。
【００４８】
また、本例では図６に示したように、ライブ画像の最終フレームを読み出した後、静止画撮影が開始されるまでの間、メカニカルシャッターが開いたままになっている。したがって、ライブ画像の最終フレームを読み出してから電子先幕リセット動作６０２までの間の露光に起因する成分の残像も存在する。この成分に関する残像係数についても、時間Ｔ０とＴ１を考慮して算出することができる。また、残像量は、ライブ画像の最終フレームＳｌｖ（ｍ，ｎ）に対し、必要に応じて絞りの変化分から照度の変化分を計算して、それを乗じて置き換えることにより算出することができる。
【００４９】
（第３の例）
本実施形態における撮像装置での残像補正処理は、固体撮像素子２における画素のリセット動作が全画素ほぼ一括でない場合にも適用可能である。以下では、本実施形態での残像補正処理を、ローリング電子シャッターを用いるライブ画像に対して適用した場合における残像係数の算出手法の例を、図８を参照して説明する。図８（Ａ）には、前述した関数ｆを示している。
【００５０】
ライブ画像の表示時における固体撮像素子２の画素のリセット及び画像信号の読み出し等は、前述の通りである。
ライブ画像の表示時における任意のフレームの読み出し以降の残像電荷成分は、所定の電子シャッターによる電荷排出時間と蓄積時間とを含む期間においてもフォトダイオードＰＤに到達し得る。しかし、蓄積開始動作であるローリング電子シャッターリセット動作４０１が行われることにより、それまでにフォトダイオードＰＤに到達した残像電荷成分はキャンセルされてしまう。キャンセルされる成分は、補正対象のライブ画像の一つ前のフレームの読み出しからローリング電子シャッターリセット動作４０１までの時間Ｔ０（ｍ，ｎ）を代入して、
ｆ（Ｔ０（ｍ，ｎ））＝１−ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］
と算出される。
【００５１】
次に、ローリング電子シャッターリセット動作４０１を行ってから残像電荷成分がフォトダイオードＰＤに到達することを考慮する。この残像電荷成分は、ローリング電子シャッターリセット動作４０１から画素（ｍ，ｎ）の信号電荷を読み出すまでの経過時間Ｔ１（ｍ，ｎ）を代入して、
ｆ（Ｔ１（ｍ，ｎ））＝１−ｅｘｐ［−Ｔ１（ｍ，ｎ）／τ］
と算出される。
【００５２】
以上のことから、残像係数は、
ｆ（Ｔ１（ｍ，ｎ））−ｆ（Ｔ０（ｍ，ｎ））＝
ｅｘｐ［−Ｔ０（ｍ，ｎ）／τ］−ｅｘｐ［−Ｔ１（ｍ，ｎ）／τ］
と計算できる。
【００５３】
なお、図８（Ｂ）において、時間Ｔ０（ｍ，ｎ）は、補正対象のライブ画像の一つ前のフレームの画像信号の読み出し時刻を時刻０としているのでローリング電子シャッターリセット動作４０１までの時間が行にかかわらず等しい様子を示している。また、時間Ｔ１（ｍ，ｎ）も、値ｎに対する依存性がなく蓄積時間そのものを表している。すなわち、残像係数は、
ｆ（Ｔ１）−ｆ（Ｔ０）＝ｅｘｐ［−Ｔ０／τ］−ｅｘｐ［−Ｔ１／τ］
のように簡略化することができる。
【００５４】
本実施形態によれば、補正対象画像の一つ前のフレームの画像信号読み出しから、補正対象画像の読み出しの直前のリセット動作までの経過時間と、当該リセット動作から補正対象画像の画像信号読み出しまでの経過時間に応じて残像係数を求める。これにより、画像信号の読み出し中に変化するような経過時間に依存する残像成分に応じた残像補正処理を行い、適切に残像補正された良好な画像を得ることができる。例えば、本実施形態における撮像装置によれば、ライブ画像の連続表示後の静止画撮影における画面の上下での残像成分の差を低減した画像を得ることができる。
【００５５】
なお、前述した実施形態では２つの経過時間の両方を用いているが、２つの経過時間のうちで残像成分への寄与度が大きい方のみによって残像係数の算出式を近似することも可能である。また、前述した実施形態では、特に残像量は直前のフレームに強く依存するという性質に立脚した補正式を提示したが、それに限定されるものではなく、前複数のフレームを用いる場合にも適用可能である。また、その要旨の範囲内で種々の変形及び変更が可能である。
【００５６】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５８】
２  固体撮像素子、６  駆動回路、７  信号処理回路、８  画像メモリ、１２  表示装置、１３  システム制御部、ＰＤ  フォトダイオード
【図１】
2014027520.tif 000003
【図２】
2014027520.tif 000004
【図３】
2014027520.tif 000005
【図４】
2014027520.tif 000006
【図５】
2014027520.tif 000007
【図６】
2014027520.tif 000008
【図７】
2014027520.tif 000009
【図８】
2014027520.tif 000010