(57)【要約】【課題】  被写体の動き量にかかわらず適用可能で、画像センサーの電子シャッター特性に起因する露光時間のむらを低減する、補正手段を備えた撮像装置を提供する。【解決手段】  行列状に配置された電荷蓄積部と、該電荷蓄積部の電荷を排出する手段と、該電荷蓄積部の電荷を各々独立に読み出す手段と、を備えた固体撮像素子と、前記固体撮像素子を遮光しない状態で電荷の排出を停止して蓄積開始し、前記固体撮像素子を遮光して露光終了し、前記蓄積開始と露光終了の時間差を以って露光時間として設定する露光時間設定手段と、前記固体撮像素子を遮光した状態で電荷を読み出して得た画像信号の画素値をゲイン補正する補正手段と、を備えた撮像装置において、前記固体撮像素子の各画素に対応して蓄積開始時刻補償用データを保持し、前記補正手段は、設定された露光時間と、設定された露光時間と前記蓄積開始時刻補償用データとの和と、の比を前記画像信号に積算する。【選択図】  図３
2012100067.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された電荷蓄積部と、
該電荷蓄積部の電荷を排出する手段と、
該電荷蓄積部の電荷を各々独立に読み出す手段と、
を備えた固体撮像素子と、
前記固体撮像素子を遮光しない状態で電荷の排出を停止して蓄積開始し、
前記固体撮像素子を遮光して露光終了し、
前記蓄積開始と露光終了の時間差を以って露光時間として設定する露光時間設定手段と、
前記固体撮像素子を遮光した状態で電荷を読み出して得た画像信号の画素値をゲイン補正する補正手段と、
を備えた撮像装置において、
該撮像装置は、
前記固体撮像素子の各画素に対応して蓄積開始時刻補償用データを保持し、
前記補正手段は、
設定された露光時間と、
設定された露光時間と前記蓄積開始時刻補償用データとの和と、
の比の値を算出し、
前記画像信号に当該値を積算する
ことを特徴とする撮像装置。
【請求項２】
前記固体撮像素子はさらに、
電荷排出手段を制御する制御線を備え、
該撮像装置は、
前記固体撮像素子の前記制御線と平行な方向の画素位置に対応して蓄積開始時刻補償用データを保持する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
該撮像装置は、
前記固体撮像素子の前記制御線と平行な方向の画素位置に対応して、異なる色信号毎に蓄積開始時刻補償用データを保持する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
該撮像装置は、
前記固体撮像素子の前記制御線と平行な方向の画素位置に対応して、前記制御線のインピーダンスの異なる組毎に蓄積開始時刻補償用データを保持する
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
行列状に配置された電荷蓄積部と、
該電荷蓄積部の電荷を排出する手段と、
該電荷蓄積部の電荷を各々独立に読み出す手段と、
を備えた固体撮像素子と、
前記固体撮像素子を遮光しない状態で電荷の排出を停止して蓄積開始し、
前記固体撮像素子を遮光して露光終了し、
前記蓄積開始と露光終了の時間差を以って露光時間として設定する露光時間設定手段と、
前記固体撮像素子を遮光した状態で電荷を読み出して得た画像信号の処理方法において、
設定された露光時間と、
設定された露光時間と前記固体撮像素子の各画素に対応する蓄積開始時刻補償用データとの和と、
の比の値を算出し、
前記画像信号に当該値を積算する
ことを特徴とする画像信号の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に固体撮像装置およびその画像信号の処理方法に関するものである。
【背景技術】
【０００２】
ＣＭＯＳ型固体撮像装置には種々の走査方法が考えられてきた。まず遮光動作を伴わないローリング走査は、一画面分の走査速度と被写体の動き速度との関係によっては被写体歪み等が顕著に発生することがある。露光開始および露光終了をメカニカルシャッターで規定し、遮光状態にてセンサーからの信号を読み出すことによりローリング走査特有の被写体歪み等はほとんど発生しないようにすることができる。
【０００３】
一方、静止画撮影を目的としたいわゆるデジタルカメラにおいて、本来の撮影（以下、「本撮影」と称する。）の直前までライブの画像を連続表示する電子ビューファインダー機能が備わっている。上記ライブ画像を出力するための画像センサーと本撮影に使用するための画像センサーが同一である場合においても、撮影者のレリーズ指示を受けて速やかに本撮影に移行できるよう、電子シャッターとメカニカルシャッターとを併用する方式が取られている。この方式は、電子シャッターで蓄積を開始することを以って露光時間の開始を規定し、メカニカルシャッターによって露光時間の終了を規定するものである。電子シャッターは、制御信号発生から実際の制御がなされるまでの時間が短いためレリーズ指示から実際の露光開始までの時間が短縮できる上、直前まで実行されているライブ画像との連続性も確保しやすい。電子シャッターとしては、例えばＣＭＯＳ型固体撮像素子のランダムアクセスリセットを利用することができる。すなわち、ＣＭＯＳ型固体撮像素子のランダムアクセス性を利用して電荷リセット動作を読み出し走査速度と異ならせ、特にメカニカルシャッターの走行に沿う速度で行っていく。
【０００４】
このように電子シャッターとメカニカルシャッターとを併用する露光方式においては、画像センサー面内をできるだけ均一な露光時間とする、あるいは見かけ上均一な露光時間とすることが、課題の一つとなっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１９５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、特許文献１には、遮光手段を退避させた状態で画素のリセットと電荷の蓄積と第一の画像信号の読み出しを行う第一の制御手段と、遮光手段を退避させた状態で画素のリセットを行い電荷の蓄積を開始し、遮光手段により遮光して電荷の蓄積を終了した後第二の画像信号の読み出しを行う第二の制御手段と、第一の画像信号の画素値と第二の画像信号の画素値との比を算出してその結果を第二の画像信号の画素値と積算することによって第二の画像信号のゲイン補正を行う補正手段を備えた撮像装置が開示されている。
【０００７】
上記の構成によれば、ローリング電子シャッターとローリング読み出し走査の走行速度が等しいことを利用して画像センサー面内均一な露光時間による画像信号が得られるので、それを基準として電子シャッターとメカニカルシャッターとを併用する露光画像を補正することができる。したがって電子シャッターとメカニカルシャッターとを併用する露光画像を見かけ上均一な露光時間とすることができる。
【０００８】
第二の画像信号を得るための電子シャッターを、ローリング電子シャッターと区別して「電子先幕シャッター」と称することがある。
【０００９】
しかしながら、上述の特許文献１に開示された従来技術では、第一の画像信号と第二の画像信号との双方を得る必要があるので、動きの大きい被写体の撮影では適用できない。また、メカニカルシャッターの使用環境温度による変化などに起因する露光時間のむらを補正することを目的としたもので、電子シャッター特性については考慮がされていなかった。
【００１０】
本発明は、被写体の動き量にかかわらず適用可能で、画像センサーの電子シャッター特性に起因する露光時間のむらを低減する、補正手段を備えた撮像装置を提供することを目的とする。
【００１１】
画像センサーの電子シャッターは、特許文献１等に開示されているように、画像センサーが遮光されていない状態で動作する。そのため、遮光時にはほとんど問題とならない、以下に述べるような特性が顕著になり、露光画面に対し色むらとなってしまう。
【００１２】
第一に、画像センサー内を伝わる制御信号線のインピーダンスによる伝達遅延性能が挙げられる。伝達遅延が発生すると、画像センサー内で画素ごとの電子シャッターむらとなって露光時間の面内むらとなってしまう。通常、撮像素子は、図１に示す画像センサー水平端部をはじめとして外周のどこかに配置された端子から転送スイッチ制御信号ΦＴＸｎが供給され、同図中水平（Ｈ）の方向に当該制御信号が伝達されている。転送スイッチオフを示す制御信号も、前述の伝達遅延により画像センサー内の画素位置に応じて真のオフ時刻が異なるので、画像センサー面内で蓄積開始時刻の差が生じる。
【００１３】
この性能は、ＣＭＯＳ型固体撮像素子のような低電圧駆動で顕著になりやすい。ＣＭＯＳ型固体撮像素子の一部においては、上記インピーダンスは画素レイアウトに応じた配線種類ごとに異なる点も課題となる。
【００１４】
第二に、伝達遅延が全く生じなかった場合、すなわち同時に電子シャッターが行われた場合においても色信号ごとに転送特性が異なる点が挙げられる。したがって、例えば画素ごとに３原色に対応する色フィルタをモザイク状に配したカラー撮像用の画像センサーを考慮した場合、光電変換直後の信号電荷はそれぞれの色フィルタに対応してフォトダイオードの深さ方向に対して異なる密度分布を持つ。そのために、異なる色フィルタどうしの真の蓄積開始時刻は厳密には等しくない。図２に示すように、赤フィルタなど長波長成分を透過するフィルタを上に配したフォトダイオードにおいては主に半導体表面から遠い（深い）部分において光電変換が行われ、青フィルタなど短波長成分を透過するフィルタを上に配したフォトダイオードにおいては主に半導体表面から近い（浅い）部分において光電変換が行われ、光電変換直後の電荷はそれぞれ、半導体表面から遠い部分、半導体表面から近い部分に多く分布している。一方、半導体表面からゲート電圧を与えるＭＯＳ型転送スイッチは、オフに対応する電圧への変化が半導体表面から伝達するので、光電変換直後の電荷は短波長成分を光電変換する画素ほどフローティングディフュージョン部に転送されやすく、長波長成分を光電変換する画素ほど転送されにくい。
【００１５】
第一の特性と第二の特性とが重ね合わさり、典型的には、露光画面が色むらとなってしまう。
【００１６】
本発明は、以上述べた原理により発生する蓄積開始時刻のむらを補正する画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明は、行列状に配置された電荷蓄積部と、該電荷蓄積部の電荷を排出する手段と、該電荷蓄積部の電荷を各々独立に読み出す手段と、を備えた固体撮像素子と、前記固体撮像素子を遮光しない状態で電荷の排出を停止して蓄積開始し、前記固体撮像素子を遮光して露光終了し、前記蓄積開始と露光終了の時間差を以って露光時間として設定する露光時間設定手段と、前記固体撮像素子を遮光した状態で電荷を読み出して得た画像信号の画素値をゲイン補正する補正手段と、を備えた撮像装置において、該撮像装置は、前記固体撮像素子の各画素に対応して蓄積開始時刻補償用データを保持し、
前記補正手段は、設定された露光時間と、設定された露光時間と前記蓄積開始時刻補償用データとの和と、の比の値を算出し、前記画像信号に当該値を積算することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、電子シャッターとメカニカルシャッターとを併用する露光方式を持つ固体撮像装置において、設定露光時間に応じて電子シャッターの蓄積開始時刻のむらを補正することを可能にしたので、当該撮影時の露光時間むらを低減した撮像装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の課題を表す画素ポテンシャル図の一例。
【図２】本発明の課題を表す画素ポテンシャル図の一例。
【図３】本発明に係る撮像装置の保持する蓄積開始時刻補償用データの一例。
【図４】本発明に係る撮像装置の構成を表すブロック図。
【図５】本発明に係る撮像装置の制御フローおよび補正フローを表すフローチャート図。
【図６】本発明第二の実施例に係る固体撮像素子の単位画素構造図。
【図７】電子シャッターとメカニカルシャッターとを併用する露光手段を備えた固体撮像素子の単位画素等価回路図および露光方法を表すタイミングチャート図。
【発明を実施するための形態】
【００２０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００２１】
図４は、本発明の実施形態に係る固体撮像装置の全体構成の一例である。図４において、１は絞りやメカニカルシャッターを含むレンズ等の光学系、２は光学系１で結像された被写体像を光電変換し電気信号として取り出す固体撮像素子である。３は固体撮像素子のアナログ電気信号をサンプリングするための相関二重サンプリング（ＣＤＳ）回路、４はサンプリングされたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器である。デジタル化された画像信号は、画像メモリ８を介して信号処理回路７により、ホワイトバランス補正、ガンマ補正をはじめとして画像信号の画素値に対して所定の積算を行うゲイン補正などの各種信号処理が施されて、記録媒体１０に記録される。記録回路９は、記録媒体１０とのインターフェイス回路を指す。また信号処理の施された画像信号は、表示回路インターフェイス１１を通して液晶ディスプレーなどの画像表示装置１２に直接表示することもできる。
【００２２】
タイミング発生回路５は、駆動回路６を通してレンズの絞り、メカニカルシャッター、固体撮像素子などの撮像系を駆動する。また、メカニカルシャッターと固体撮像素子の電子シャッターとを、後述の設定露光時間に相当するよう、本撮影にかかる露出条件設定を実行する。さらに、撮像系の駆動ひいては固体撮像素子の出力信号に同期して相関二重サンプリング回路３、Ａ／Ｄ変換器４を駆動・制御する。
【００２３】
システム制御部１３は、揮発性メモリ１４に一時記憶されたプログラムにより固体撮像装置全体を制御する。
【００２４】
１５は、当該制御実行時に転送されるべきプログラム、各種データを格納した不揮発性メモリで、後述の蓄積開始時刻補償用データを格納している。
【００２５】
図５は、当該撮像装置の制御フローおよび画像信号の処理フローを示す。図４に図示しないスイッチによりメイン電源がオンされ、次にシステム制御系の電源がオンし、更に撮像系の電源がオンされる（ステップＳ５０１）。
【００２６】
次にメカニカルシャッターを開き、固体撮像素子に駆動設定信号を与える（ステップＳ５０２）ことにより、ライブ画像を表示装置１２に連続表示していわゆる電子ビューファインダー機能を起動する。
【００２７】
撮影に先立って露光量を制御するため、システム制御部１３は、撮像系からデジタル化された画像信号を画像メモリ８に取得して信号処理回路７に露出演算を行わせる。例えば画像信号から抽出した輝度情報を画面のエリア別に重み付け演算して、現状よりも何段明るくすればよいか（暗くすればよいか）を演算する。システム制御部１３は当該演算結果を受けて光学系１の絞りを駆動することで次フレームから適切な明るさの画像を得る。固体撮像素子に電子シャッター機能がある場合は、同時にシャッター速を変更してもよい。
【００２８】
図５のフローチャートにおいては、露出演算から露出設定までをＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）と称してステップＳ５０３に示してある。ステップＳ５０４にてレリーズスイッチが押されるまで、連続的にＡＥが行われ、またライブ画像表示も更新される。
以上により適正露出が確認された後、前記シャッターレリーズボタンの押下を契機として本撮影が開始される（ステップＳ５０４）。
【００２９】
本撮影に伴う露光（ステップＳ５０５）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換され画像メモリ８に一時格納される（ステップＳ５０６）。
【００３０】
次いで信号処理回路７により画素ごとのゲイン補正を含む各種信号処理が行われる（ステップＳ５０７およびＳ５０８）。ステップＳ５０７は、ｎライン目（ｎ＜Ｎ）の画素ごとのゲインを求める段階を、ステップＳ５０８は、ｎライン目の画素ごとにゲインを積算する段階を表す。まず、ステップＳ５０７の開始にあたって初期値ｎ＝０、ｍ＝０が与えられる。座標（０，０）の画素に必要なゲインを下式にしたがって算出する。
【００３１】
補正係数＿（０，０）
＝設定露光時間／（設定露光時間＋蓄積開始時刻補償用データ＿（０，０））
ここで、設定露光時間は、ステップＳ５０３に示したＡＥの結果定めた量である。次に０行目の画素数カウントｍをインクリメントして、水平の画素数Ｍに到達するまで、同様の演算を行う。０行目における補正係数の一般式は下記のようになる。
【００３２】
補正係数＿（ｍ，０）
＝設定露光時間／（設定露光時間＋蓄積開始時刻補償用データ＿（ｍ，０））
設定露光時間はＭ個の画素につき同じものを使用するが、蓄積開始時刻補償用データについては画素ごとに異なるのが一般的で、例えば図３のような下凸関数などが適用される。０行目の全ての画素につき補正係数演算が終了したところで０ライン目のゲイン補正処理が実行される。次にラインカウントｎをインクリメントし当行の補正処理が完了する。インクリメントされたｎに対し同様の補正係数算出とゲイン補正処理が、最終行Ｎに至るまで繰り返される（ステップＳ５０８の終了）。座標（ｍ，ｎ）の画素に適用されるゲインの一般式は下記のようになる。
【００３３】
補正係数＿（ｍ，ｎ）
＝設定露光時間／（設定露光時間＋蓄積開始時刻補償用データ＿（ｍ，ｎ））
設定露光時間はＭ×Ｎ個の画素につき同じものを使用する。本実施形態においては、ＡＥの結果定めた量を適用する方法を採ったが、撮影者のマニュアル操作により所定の露光時間が決定された場合でも当該設定露光時間として設定・演算することが可能である。
【００３４】
最後に、処理済み画像を、記録回路９を通して記録媒体１０に記録されて一連の撮影動作が完了する。（ステップＳ５０９）
次に図７を用いて、ステップＳ５０５本撮影に伴う露光について更に詳細を説明する。
【００３５】
図７に等価回路図を示す画素ＰＩＸｎ（ｍ）を単位構造としてＭ列×Ｎ行配置したＣＭＯＳ型固体撮像素子２において、電子シャッターの動作は以下に述べる通りである。ｎライン目（ｎ＜Ｎ）において、まずΦＲＥＳｎとΦＴＸｎにパルスが印加され転送スイッチＴＸｎ（ｍ）およびリセットスイッチＲＥＳｎ（ｍ）をオン状態とする。これによりｎライン目のフォトダイオードＰＤｎ（ｍ）とフローティングディフュージョン部ＦＤｎ（ｍ）に蓄積されている不要電荷を除去するリセット動作が行われる。ここでｍ＜Ｍはｍ列目の画素への対応付けを表す。次いで転送スイッチＴＸｎ（ｍ）がオフとなり、ＰＤｎ（ｍ）に発生した光電荷が蓄積される蓄積動作が開始する。ｎ＋１ライン目以降に対しても同様の蓄積開始制御が行われる。ｎライン目の蓄積開始時刻とｎライン目の画素行をメカニカルシャッターによって遮光する時刻との差分が、ｎライン目の画素行における露光時間となる。メカニカルシャッターがその走行速度によって順次画素行を遮光するのに合わせて、上記の電子シャッター動作の行シフトタイミングを予め設定しておけば、全ての画素行における露光時間をほぼ揃えることができる。
【００３６】
ステップＳ５０７にて使用する設定露光時間は、以上のような制御で実際の動作に反映されたものである。
【００３７】
ステップＳ５０７にて使用する蓄積開始時刻補償用データについて、以下の実施例で詳細を説明する。
【００３８】
［実施例１］
以下、蓄積開始時刻補償用データの保持方法について図３を参照しながら説明する。図３は、８×６画素の画像センサーを一例として固体撮像素子２の制御信号線ＴＸｎの敗戦と、当該画像センサーに適する補償用データの一例を示したものである。８×６画素の画像センサー図中水平方向に伸びる破線が制御信号線ＴＸｎの配線を表す。制御信号線ＴＸｎは画像センサーの感光領域を水平方向に伝っているので、制御信号は画像センサーの水平端部から供給しうる。それに対応して、蓄積開始時刻補償用データとしては、供給源から遠い中心付近に向かって極値を持つ下凸関数が考えられる。制御信号の供給源から遠い地点の転送スイッチＴＸｎ（ｍ）は、オフ応答が遅れるために蓄積開始時刻が遅れてしまうので、電子シャッターとメカニカルシャッターとを併用する露光方式においては真の露光時間が短くなってしまうからである。
【００３９】
このような補償用データの関数形状は、ＴＸｎ制御線のインピーダンスから電圧応答特性等をモデル化して設計値を書き込んでもよいし、センサー個体ごとに関数形状を求める工程調整の結果を書き込んでもよい。本方式は、電子シャッターの蓄積開始時刻補償用データを、制御信号線と平行な一ラインのみ保持すれば良いので、保持データ量、補正係数演算量ともに削減できる。
【００４０】
なお、図３で、色信号ごとに縦軸方向の切片が異なっているのは、色信号ごとにフローティングディフュージョン部ＦＤへの転送時間が異なっていることに対応している。比較的転送されやすい短波長成分（例えばＢ信号）は蓄積開始時刻が遅れるために、電子シャッターとメカニカルシャッターとを併用する露光方式においては真の露光時間が短くなってしまうからである。本方式は、電子シャッターの蓄積開始時刻補償用データを、制御信号線と平行な一ラインを色信号数分のみ保持すれば良いので、保持データ量、補正係数演算量ともに削減できる。
【００４１】
［実施例２］
以下、蓄積開始時刻補償用データの保持方法について図６を参照しながら別の例を説明する。本実施例は、フローティングディフュージョン部ＦＤが制御信号線ＴＸｎと直交する方向の複数の画素で共有されている場合に適応可能となる。図６では隣接する２画素で共有されている画素構造図を示すが、２画素以上であっても良いし、必ずしも隣接画素でなくても良い。
【００４２】
フローティングディフュージョン部ＦＤが、垂直に隣接する２画素で共有されているので、転送スイッチＴＸは画素内異なる方位に配置される。したがって、画像センサーのデッドスペースを利用する制御配線は実際の転送スイッチＴＸまでの距離がＴＸ制御線ＡとＴＸ制御線Ｂとで異なり、すなわちインピーダンス差を生じやすい。一方、転送スイッチＴＸの画素内配置方位が同一のラインＴＸ制御線ＡとＴＸ制御線Ａ’とではインピーダンス差がほとんどない。そこで、蓄積開始時刻補償用データを、制御信号線のインピーダンスの異なる組毎に保持する。本方式は、電子シャッターの蓄積開始時刻補償用データを、制御信号線と平行な一ラインを制御信号線のインピーダンスの異なる組数分のみ保持すれば良いので、保持データ量、補正係数演算量ともに削減できる。
【００４３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４４】
ＰＤｎ（ｍ）・・・単位画素構造のフォトダイオード（ＰＤ）
ＦＤｎ（ｍ）・・・単位画素構造のフローティングディフュージョン部（ＦＤ部）
ＴＸｎ（ｍ）・・・単位画素構造の転送スイッチ
ＲＥＳｎ（ｍ）・・・単位画素構造のリセットスイッチ
ＴＸｎ・・・ｎライン目の画素行に対応する転送スイッチの制御信号
ＲＥＳｎ・・・ｎライン目の画素行に対応するリセットスイッチの制御信号
【図１】
2012100067.tif 000003
【図２】
2012100067.tif 000004
【図３】
2012100067.tif 000005
【図４】
2012100067.tif 000006
【図５】
2012100067.tif 000007
【図６】
2012100067.tif 000008
【図７】
2012100067.tif 000009