(57)【特許請求の範囲】
【請求項１】
固体撮像素子と、前記固体撮像素子から出力される撮像信号を増幅する際のゲインを可変設定可能な可変増幅手段であって、設定可能な最大ゲインアップ比率がＧｍである可変増幅手段と、前記可変増幅手段からの出力信号をデジタル信号に変換するアナログ／デジタル変換手段と、前記アナログ／デジタル変換手段によってデジタル信号に変換された後の撮像信号に対してデジタル演算を施す信号演算手段と、前記固体撮像素子を制御して予定露光時間を複数Ｎｄの露光に分割して露光する分割露光撮像を実行する分割露光制御手段とを有し、前記アナログ／デジタル変換に関する量子化ノイズが許容限界となる場合の前記アナログ／デジタル変換手段への入力信号のレベル低下比率である量子化限界係数がＣｑである撮像装置であって、
前記分割露光撮像を実行する際、前記可変増幅手段のゲインアップ比率Ｇを、当該分割露光撮像における分割数Ｎｄと、前記可変増幅手段の最大ゲインアップ比率Ｇｍと、前記アナログ／デジタル変換に関する量子化限界係数Ｃｑとに基いて設定するゲイン設定手段を具備することを特徴とする撮像装置。
【請求項２】
前記ゲイン設定手段は、
前記分割数Ｎｄが前記最大ゲインアップ比率Ｇｍ以下の場合には、前記ゲインアップ比率Ｇ（≧１）をＮｄ／Ｃｑ以上、Ｎｄ以下に、
前記分割数Ｎｄが前記最大ゲインアップ比率Ｇｍ以上でＧｍ×Ｃｑ以下の場合には、前記ゲインアップ比率Ｇ（≧１）をＮｄ／Ｃｑ以上、Ｇｍ以下に、
前記分割数ＮｄがＧｍ・Ｃｑ以上の場合には、前記ゲインアップ比率Ｇ（≧１）をＧｍに、
それぞれ設定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記信号演算手段は、前記分割露光撮像により得られるＮｄ個の分割露光撮像信号から１つの画像を生成するために、前記Ｎｄ個の分割露光撮像信号の加算値を当該分割露光撮像に適用した前記ゲインアップ比率Ｇで除する演算を実行することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記信号演算手段は、前記Ｎｄ個の分割露光撮像信号の加算に際して前記Ｎｄ個の分割露光撮像信号に対する位置ずれ補正を行い、当該位置ずれ補正後のＮｄ個の分割露光撮像信号を加算することを特徴とする請求項３記載の撮像装置。
【請求項５】
固体撮像素子と、前記固体撮像素子から出力される撮像信号を増幅する際のゲインを可変設定可能な可変増幅手段であって、設定可能な最大ゲインアップ比率がＧｍである可変増幅手段と、前記可変増幅手段からの出力信号をデジタル信号に変換するアナログ／デジタル変換手段と、前記アナログ／デジタル変換手段によってデジタル信号に変換された後の撮像信号に対してデジタル演算を施す信号演算手段とを有し、前記アナログ／デジタル変換に関する量子化ノイズが許容限界となる場合の前記アナログ／デジタル変換手段への入力信号のレベル低下比率である量子化限界係数がＣｑである撮像装置であって、
予定露光時間を複数Ｎｄの露光に分割して露光する分割露光撮像を実行する際、当該撮像に関する予定露光時間と所定のぶれ限界許容露光時間とに基づいて前記分割数Ｎｄを算出する手段と、
前記可変増幅手段のゲインアップ比率Ｇを、前記算出された分割数Ｎｄと、前記可変増幅手段の最大ゲインアップ比率Ｇｍと、前記アナログ／デジタル変換に関する量子化限界係数Ｃｑとに基いて設定するゲイン設定手段と、
前記算出された分割数Ｎｄによる分割露光撮像を実行する撮像制御手段とを具備することを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はＣＣＤ等の固体撮像素子を用いた撮像装置に関し、特に分割露光撮像を行うことが可能な撮像装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を用いたディジタルスチルカメラにおいては、その撮像によって得られた画像信号の画質向上を目的とした様々な特殊駆動が考えられている。
【０００３】
例えば、本出願人は、先に、長時間シャッタ時等に生じる手ぶれ画像の記録を防ぐために、全露光時間を複数の部分露光時間に分割して複数回の撮像（露光および信号読出し）を行なった後に信号加算によって１枚の画像を生成する分割露光撮像を使用し、各回の部分露光撮像にて得られた複数の画像間で位置ずれの補正を行ってから信号加算を行なう技術を提案している。（特願平１１−２０１３５０号明細書）
【０００４】
【発明が解決しようとする課題】
上記特願平１１−２０１３５０号明細書では分割露光撮像の後、（１）分割露光画像を単純にデジタル加算する技術および、（２）分割露光画像の信号レベルが通常撮像時（非分割時）と同等の標準レベルとなるようにＡＤ前段のアナログ系にて分割露光画像の信号レベルをゲインアップしておき、ＡＤ変換後の分割露光画像に対してデジタル平均値演算を適用する技術が記載されているが、（１）は分割数が大きくなった場合にＡＤ変換器に入力されるアナログ信号のレベル低下によりＡＤ変換に関する量子化ノイズが増大する、（２）はアナログ系のゲインアップ量には実際上限りがあるため、分割数が大きくなった場合に、必要なゲインアップが不可能になる（よって当該分割数への適用は不可）という問題をそれぞれ有したものであった。
【０００５】
像ぶれ画像の記録を防止するという観点から各回の分割露光時間そのものを長く設定することはできない。このため、ＣＣＤの板面照度が低下するほど、すなわち適正露出を得るために必要な全露光時間が長くなるほど、必要な分割数は大きくなり、この分割数の増加に伴って各回の分割露光画像の信号レベルが低下されることになる。よって、（１）または（２）の技術では、分割数が大きくなると過度な量子化ノイズの増大を招いたり、あるいは当該分割数への適用自体が不可とされるものであった。
【０００６】
このため例えば、分割露光撮像によって天体撮影を行う場合などのように、使用する望遠鏡の口径やカメラの感度等の条件によって必要な分割数が大きく変わるような撮影への適用は困難なものであった。
【０００７】
本発明は上述の事情を考慮してなされたものであり、その目的とするところは、ＡＤ変換に関する量子化ノイズさらにはＡＤ変換前段でのアナログ系のゲインアップ比率の最大値をも考慮したゲイン設定を行うことにより、可能な範囲で量子化ノイズの増大を抑制しつつ、且つ適用可能な分割数を十分に広げることが可能な分割露光画像を実現し得る撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、固体撮像素子と、前記固体撮像素子から出力される撮像信号を増幅する際のゲインを可変設定可能な可変増幅手段であって、設定可能な最大ゲインアップ比率がＧｍである可変増幅手段と、前記可変増幅手段からの出力信号をデジタル信号に変換するアナログ／デジタル変換手段と、前記アナログ／デジタル変換手段によってデジタル信号に変換された後の撮像信号に対してデジタル演算を施す信号演算手段と、前記固体撮像素子を制御して予定露光時間を複数Ｎｄの露光に分割して露光する分割露光撮像を実行する分割露光制御手段とを有し、前記アナログ／デジタル変換に関する量子化ノイズが許容限界となる場合の前記アナログ／デジタル変換手段への入力信号のレベル低下比率である量子化限界係数がＣｑである撮像装置であって、前記分割露光撮像を実行する際、前記可変増幅手段のゲインアップ比率Ｇを、当該分割露光撮像における分割数Ｎｄと、前記可変増幅手段の最大ゲインアップ比率Ｇｍと、前記アナログ／デジタル変換に関する量子化限界係数Ｃｑとに基いて設定するゲイン設定手段を具備することを特徴とする。
【０００９】
この撮像装置においては、アナログ／デジタル変換手段の前段におけるアナログ系のゲインアップ量には実際上限りがあり、またアナログ／デジタル変換手段への入力信号レベルが低下すると量子化ノイズが増大するが、通常は、アナログ／デジタル変換に関してはある程度までの入力信号のレベル低下比率までは量子化ノイズを許容範囲に収めることができる、という点に着目し、露光分割数Ｎｄが与えられた場合に、最大ゲインアップ比率Ｇｍと、ＡＤ入力段階における信号レベル低下によって生じる量子化ノイズの増大が許容限界となる場合のレベル低下比率である量子化限界係数Ｃｑとを合わせて考慮して、これに基いてゲインアップ比率Ｇが設定される。
【００１０】
よって、例えば、（１）分割数Ｎｄが少なく、量子化限界係数Ｃｑを考慮せずとも最大ゲインアップ比率Ｇｍ以下の範囲内で十分なゲインアップ比率を適用できる場合と、（２）分割数Ｎｄが最大ゲインアップ比率Ｇｍ以上であるが、量子化限界係数Ｃｑを考慮すれば最大ゲインアップ比率Ｇｍ以下の範囲内で十分なゲインアップ比率を適用できる場合と、（３）分割数Ｎｄが（２）よりもさらに大きい場合とに分けて、それぞれの場合の分割露光撮像に適用するゲインアップ比率Ｇを、当該分割数Ｎｄ、最大ゲインアップ比率Ｇｍ、および量子化限界係数Ｃｑというパラメータを用いて設定することで、分割数が小さい場合には量子化ノイズの少ない良好な画質が得られ、また分割数が大きくなっても可能な範囲内で量子化ノイズを最小に抑制することが可能となるので、分割数が制限されない撮像装置を実現できる。
【００１１】
具体的には、前記ゲイン設定手段は、前記分割数Ｎｄが前記最大ゲインアップ比率Ｇｍ以下の場合には、前記ゲインアップ比率Ｇ（≧１）をＮｄ／Ｃｑ以上、Ｎｄ以下に、前記分割数Ｎｄが前記最大ゲインアップ比率Ｇｍ以上でＧｍ×Ｃｑ以下の場合には、前記ゲインアップ比率Ｇ（≧１）をＮｄ／Ｃｑ以上、Ｇｍ以下に、前記分割数ＮｄがＧｍ・Ｃｑ以上の場合には、前記ゲインアップ比率Ｇ（≧１）をＧｍに、それぞれ設定することが好ましい。これにより、上記（１）（２）（３）それぞれの状況に適合したゲインアップ比率Ｇを設定することができる。
【００１２】
また前記分割露光撮像により得られるＮｄ個の分割露光撮像信号から１つの画像を生成する際には、Ｎｄ個の分割露光撮像信号を単純に加算するだけの単純加算や加算値をＮｄで除するという単純平均の演算ではなく、前記Ｎｄ個の分割露光撮像信号の加算値を、当該分割露光撮像に適用した前記ゲインアップ比率Ｇで除する、という演算を実行することで、ゲインアップ比率Ｇの設定値に応じた適応的な演算により、Ｎｄ個の分割露光撮像信号から１つの画像を生成することが可能となる。
【００１３】
さらに、Ｎｄ個の分割露光撮像信号の加算に際しては、その前に前記Ｎｄ個の分割露光撮像信号に対する位置ずれ補正を行い、当該位置ずれ補正後のＮｄ個の分割露光撮像信号を加算することが好ましい。これにより、手ぶれや被写体自体の動きによる像ぶれを、より低減することが出来る。
【００１４】
また、分割露光撮像を実行する際に、その分割露光撮像に使用する分割数Ｎｄを、当該撮像に関する予定露光時間とぶれ限界許容露光時間とに基づいて自動的に算出し、それによって得られた露光分割数Ｎｄと、最大ゲインアップ比率Ｇｍと、量子化限界係数Ｃｑとを合わせ考慮してゲインアップ比率Ｇを設定した状態で分割露光撮像を開始するという構成を用いることにより、像ぶれ画像の記録防止に必要な分割数Ｎｄを自動的に得ることができるとともに、その分割数ＮｄとＧｍ、Ｃｑとを考慮して設定された適正なゲインを各分割露光撮像信号に適用することが可能となる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、ディジタルスチルカメラとして実現した場合を例示して説明することにする。図中１０１は撮像レンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はメカニカルシャッタ、１０５は被写体像を光電変換するためのＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はアナログゲインコントロールアンプ（ＧＣＡ）１０７ａ，Ａ／Ｄ変換器１０７ｂ等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル演算処理を行うディジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。ディジタルプロセス回路１０８には、デジタル演算処理のためのバッファメモリ１０８ａおよび信号処理部１０８ｂが設けられている。
【００１６】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００１７】
本実施形態のカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、露出制御機構１０３およびメカシャッタ１０４とＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行ない、それをプリプロセス回路１０７を介してＡ／Ｄ変換してディジタルプロセス回路１０８に取込んで、ディジタルプロセス回路１０８内で各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００１８】
ＣＣＤカラー撮像素子１０５としては、例えば縦型オーバーフロードレイン構造でインターライン型のものなどが用いられる。ＣＣＤ撮像素子１０５の駆動制御は、ＣＣＤドライバ１０６から出力される各種駆動信号（全電荷排出パルスＣＤＰ、画素部から垂直転送路への電荷移送のための電荷読み出しパルスＴＧＰ、および垂直駆動パルス、水平駆動パルス等）を用いて行われる。全電荷排出パルスＣＤＰは、各画素（光電変換部）の最大電荷蓄積レベル（オーバーフローレベルＯＦＬ）を決定するための基板バイアス電圧（ＶＳＵＢ）に重畳して出力されるパルス（ＶＳＵＢパルス）であり、この全電荷排出パルスＣＤＰの出力により各画素の電荷を基板（オーバーフロードレイン）に排出してリセットすることができる。
【００１９】
また、システムコントローラ１１２には、図示のように、分割露光撮像を制御するための分割露光制御部１１２ａと、分割露光撮像の際にアナログゲインコントロールアンプ（ＧＣＡ）１０７ａに適用するゲインアップ率の設定および制御を行うゲイン制御部１１２ｂとが設けられている。分割露光撮像では、試行撮像の結果に基づくマニュアル操作や測光結果により自動設定された適正露光時間が、本撮像に使用すべき予定露光時間（全露光時間）として使用され、その予定露光時間を複数回の露光（露光および信号読み出し）に分割した露光制御が行われる。
【００２０】
図２には、分割露光撮像の撮像シーケンスの一例が示されている。ここでは、全露光時間（Ｔtotal）を４分割する場合が例示されている。
【００２１】
例えば、分割露光撮像をＣＤＰとＴＧパルスによる純電子シャッタを用いて制御する場合を想定すると、メカシャッタ１０４を開成した状態で全電荷排出パルスＣＤＰによる全電荷排出を行うことにより、全露光時間が開始される。そして、所定の分割露光時間が経過するたびにＴＧパルスを出力し、かつその毎回のＴＧパルスに対応して垂直・水平駆動パルスによる転送路駆動を実行することにより、全露光時間（Ｔtotal）の間に複数回（ここでは４回）の露光（露光および信号読出し）が順次実行される。各回の部分露光撮像にて得られた撮像信号Ｓ１〜Ｓ４は、アナログゲインコントロールアンプ（ＧＣＡ）１０７ａによってゲインアップされた後にＡ／Ｄ変換器１０７ｂでＡ／Ｄ変換される。そして、Ａ／Ｄ変換後の撮像信号Ｓ１〜Ｓ４に対して信号処理部１０８ｂによるデジタル演算（像移動補正加算処理）が施される。
【００２２】
このデジタル演算では、部分露光画像である撮像信号Ｓ１〜Ｓ４間で位置ずれの補正を行ってから信号加算が行われ、そしてその加算結果を定数で除することにより、一つの長時間露光画像が得られる。この長時間露光画像は適宜各種信号処理が施された後にメモリカード１１０に記録される。
【００２３】
このような分割露光撮像に際しては、露光時間が短くなることで各回のＡ／Ｄ量子化ノイズが大きくなることを回避するためにゲインアップが行われる。この場合、アナログゲインコントロールアンプ（ＧＣＡ）１０７ａのゲインアップ比率は、分割数Ｎｄと、アナログゲインコントロールアンプ（ＧＣＡ）１０７ａの最大ゲインアップ比率Ｇｍと、Ａ／Ｄ変換器１０７ｂのＡ／Ｄ変換に関する量子化限界係数Ｃｑとに基づいて設定される。
【００２４】
以下、図３を参照して、本実施形態におけるゲイン制御の原理を説明する。
【００２５】
アナログゲインコントロールアンプ（ＧＣＡ）１０７ａはＣＣＤ撮像素子１０５から読み出されたアナログ撮像信号を増幅する際のゲインを可変設定可能な可変増幅器であり、そのゲインアップ量の限界値である最大ゲインアップ比率はＧｍに制限されている。ここで、最大ゲインアップ比率Ｇｍとは、通常撮影（非分割）時にゲインアップ率として使用される標準ゲインＧ０に対する比率である。アナログゲインコントロールアンプ（ＧＣＡ）１０７ａの最大ゲインが標準ゲインＧ０の８倍（Ｇ０×８＝１８ｄＢ）であるとすると、最大ゲインアップ比率Ｇｍは８となる。
【００２６】
Ａ／Ｄ変換器１０７ｂはアナログゲインコントロールアンプ（ＧＣＡ）１０７ａによってゲインアップされた後のアナログ撮像信号を量子化してデジタル信号に変換する。例えば１画素当たり８ビット（２５６階調）の最終的な画像データを得る場合を想定すると、Ａ／Ｄ変換器１０７ｂとしては、通常は、後段のガンマ特性も考慮して余裕を見込んで設定されたビット数、例えば１０ビット（１０２４レベル）の分解能をもつものが用いられる。この１０ビットのＡ／Ｄ変換はリニア系で行われる。
【００２７】
この場合、ＡＤ入力段階における信号レベルが低下するとＡ／Ｄ変換の量子化ノイズが増大するものの、ある程度までの入力信号のレベル低下比率までは量子化ノイズを許容範囲に収めることができる。上記の場合には、ＡＤ入力段階における信号レベル低下によって生じる量子化ノイズの増大が許容限界となる場合のレベル低下比率である量子化限界係数Ｃｑを４とする。この意味は、リニア段階での上位２ビット落ちに相当する１／４程度の信号レベルがあれば、量子化ノイズの増大はそれほど問題とならないという意味である。つまり、２ビット分の余裕を見込んで１０ビット（１０２４レベル）に設定されたＡ／Ｄ変換においては、リニア段階で８ビット程度までの入力信号レベルがあれば、後段のガンマを考慮しても、量子化ノイズによる影響は実際上問題とならず、最終的には良好な画質の画像データを得ることが出来る。
【００２８】
ゲイン制御部１１２ｂは、分割露光撮像で使用する分割数Ｎｄが与えられた場合に、最大ゲインアップ比率Ｇｍと、量子化限界係数Ｃｑとを合わせ考慮して、これに基いてアナログゲインコントロールアンプ（ＧＣＡ）１０７ａによってゲインアップ比率Ｇを設定する。
【００２９】
ゲインアップ比率Ｇの具体的な設定制御については図４で後述するが、基本的には、１）分割数Ｎｄが少なく、量子化限界係数Ｃｑを考慮せずとも最大ゲインアップ比率Ｇｍの範囲内で十分なゲインアップ比率を適用できる場合と、２）分割数Ｎｄが最大ゲインアップ比率Ｇｍ以上であるが、量子化限界係数Ｃｑを考慮すれば最大ゲインアップ比率Ｇｍの範囲内で十分なゲインアップ比率を適用できる場合と、３）分割数Ｎｄがさらに大きく、量子化限界係数Ｃｑを考慮しても最大ゲインアップ比率Ｇｍの範囲内では十分なゲインアップ比率を適用出来ない場合とに分けて、それぞれの場合の分割露光撮像に適用するゲインアップ比率Ｇを、分割数Ｎｄ、最大ゲインアップ比率Ｇｍ、および量子化限界係数Ｃｑというパラメータを用いて設定するという処理が行われる。
【００３０】
次に、図４のフローチャートを参照して、本実施形態における一連の撮像動作について説明する。ここでは、天体撮影を行う場合を想定する。カメラは三脚で固定し、天の赤道付近（極軸付近以外）のある星に着目して撮影を行うものとする。この場合、手ぶれによる像ぶれは生じないが、天体の日周運度による像ぶれを防止するために分割露光撮像を用いることとする。
【００３１】
まず、撮影に先立って試行撮像または測光が行われる（ステップＳ１０１）。そして、測光結果により算出される適正露光時間、または試行撮像の結果に基づくマニュアル操作等で設定された露光時間が、本撮像に使用すべき予定露光時間（全露光時間＝Ｔtotal）としてカメラに設定される（ステップＳ１０２）。この予定露光時間はあくまで標準ゲインＧ０を基準に設定されるものであるが、撮影対象となる天体の種類や望遠鏡の口径などといった様々な撮影条件によって、適正露出を得るための予定露光時間は変化する。
【００３２】
この後、システムコントローラ１１２の制御の下、分割数Ｎｄが決定される（ステップＳ１０３）。この分割数Ｎｄは、
Ｎｄ＝Ｔtotal／Ｔｄ
で算出される。Ｔｄは、ぶれ限界許容露光時間に基づいて設定される各回の分割露光時間である。このＴｄの値は予めカメラ内に固定値として記憶しておいても良いが、例えば撮影条件等のパラメータから自動的に算出したり、あるいは撮影条件の種別に合わせて予め用意された何種類かのＴｄの値の中から任意の値をユーザが選択できるようにしても良い。いずれにしても、Ｔtotalがある一定値以上である場合には、分割露光撮像を用いた長時間露光を行うために分割数Ｎｄが、ＴtotalとＴｄから自動的に算出される。
【００３３】
ここで、ＣＣＤ１０５の撮像画枠内で天体の動きを追尾する場合を想定して、Ｔtotal、Ｔｄの具体例について考える。
Ｔtotalの例示値としては  Ｔ１＝４ｓとＴ２＝１６とＴ３＝６４ｓ（約１分）の３種類のケースを想定する。すなわち上述のように適正露光時間は使用する望遠鏡の口径やカメラの感度等により当然異なるが、以下では総合的にＴ１あるいはＴ２、Ｔ３で適正露光に達する板面照度が得られているものとする。
【００３４】
また各分割露光時間Ｔｄとしては１ｓを使用するものとする。これは、次の理由によるものである。すなわち、約４０倍程度の倍率の望遠鏡を標準画角レンズ（画角約４６deg）に使用した場合を想定すれば、最終的な撮影画角は約１．２degとなる。これに対して日周運動は約０．００４deg／ｓであるから、ぶれを防止するためには、分割露光時間Ｔｄ当たりの天体の移動量が、画角約１．２degよりも十分に小さくなる（例えば画角の１／３００）ように分割露光時間Ｔｄを決めることが必要となる。各分割露光時間Ｔｄを１ｓとすれば、分割露光時間Ｔｄ当たりの天体の移動量は撮影ぶれが許容限界となる画角の１／３００となるので、各分割露光画像に像ぶれが生じることを防止することができる。
【００３５】
すなわち、分割数Ｎｄとしては、Ｎｄ＝Ｎｄ１＝４、Ｎｄ２＝１６、あるいはＮｄ３＝６４の分割露光撮像を行うことになる。この分割露光撮像の実行に先立ち、まず、露光時間が短くなることで各回のＡ／Ｄ量子化ノイズが大きくなることを回避するために以下のようなゲインアップ設定を行う。
【００３６】
（甲）Ｔ１＝４ｓすなわちＮｄ＝Ｎｄ１＝４の場合には、ＮｄがＧｍ（＝８）以下であるから、ゲインアップ比率ＧはＮｄ１／Ｃｑ以上でＮｄ１以下（１〜４）の範囲内の任意の値（例えば２）に設定される（ステップＳ１０４，Ｓ１０５）。この場合Ａ／Ｄ変換器１０７ｂに入力される時点での各分割撮像信号（部分露光画像）の信号レベルは最低でも通常撮影（非分割）の場合の１／４以上あるから許容限界以上の量子化ノイズの増大は発生しない。
【００３７】
（乙）Ｔ２＝１６ｓすなわちＮｄ＝Ｎｄ２＝１６の場合には、ＮｄがＧｍ（＝８）以上でＧｍ×Ｃｑ＝３２以下であるから、ゲインアップ比率ＧはＮｄ２／Ｃｑ以上でＧｍ以下（４〜８）の範囲内の任意の値（例えば６）に設定される（ステップＳ１０４，Ｓ１０６）。この場合もＡ／Ｄ変換器１０７ｂに入力される時点での各分割撮像信号の信号レベルは最低でも通常撮影（非分割）の場合の１／４以上あるから許容限界以上の量子化ノイズの増大は発生しない。
【００３８】
（丙）Ｔ３＝６４ｓすなわちＮｄ＝Ｎｄ３＝６４の場合には、ＮｄがＧｍ×Ｃｑ＝３２以上であるから、ゲインアップ比率Ｇ＝Ｇｍ＝８に設定する（ステップＳ１０４，Ｓ１０７）。これによってＡ／Ｄ変換器１０７ｂに入力される時点での各分割撮像信号の信号レベルは通常撮影（非分割）の場合よりも低下しこれに伴い、許容限界を超えた量子化ノイズの増大が生じるが、ゲインアップした分（１８ｄＢ）だけは量子化ノイズに対する改善効果が得られる。すなわち可能な範囲で量子化ノイズを最小化していることになる。
【００３９】
なお、上記においてＮｄがＧｍ（＝８）、あるいはＮｄがＧｍ×Ｃｑ（＝３２）の場合には、見かけ上はそれぞれ２つの条件に該当してしまうこととなるが、例えばＮｄ＝Ｇｍ（＝８）であれば（甲）では２〜８の内の任意の値、（乙）でも２〜８の内の任意の値となり、同様にＮｄ＝Ｇｍ×Ｃｑ＝３２であれば、（乙）および（丙）のどちらも８となるので、問題なく適正なゲイン設定を行うことが出来る。
【００４０】
このようにしてゲインアップ率の設定が行われた後に、予定露光時間Ｔtotalを分割数Ｎｄに分割したＮｄ回の分割露光撮像が連続的に実行されることにより、各回の部分露光撮像にて得られた撮像信号が、アナログゲインコントロールアンプ（ＧＣＡ）１０７ａによってゲインアップされた後にＡ／Ｄ変換器１０７ｂでＡ／Ｄ変換され、これによりＮｄ個の部分露光画像が順次得られる（ステップＳ１０８）。Ｎｄ個の部分露光画像に対しては信号処理部１０８ｂにより、像移動補正加算処理が施される（ステップＳ１０９）。
【００４１】
この像移動補正加算処理では、Ｎｄ個の部分露光画像間の位置ずれ補正処理がなされた後にそれらＮｄ個の部分露光画像を加算して、それをアナログゲインコントロールアンプ（ＧＣＡ）１０７ａに適用したゲインアップ率Ｇで除するという演算が行われる。これによりＮｄ個の部分露光画像から１つの記録用画像が生成される。このように、Ｎｄ個の部分露光画像から１つの画像を生成する際には、Ｎｄ個の部分露光画像を単純に加算するだけの単純加算や加算値をＮｄで除するという単純平均の演算ではなく、当該分割露光撮像に際してアナログゲインコントロールアンプ（ＧＣＡ）１０７ａに対して実際に適用したゲインアップ率Ｇで加算結果を除する、という演算を実行することで、ゲインアップ比率Ｇの設定値に応じた適応的な演算が実行される。
【００４２】
次に、像移動補正加算処理の具体的な手順の一例について説明する。
【００４３】
まず上記各回の露光による撮像信号（Ｓ[k](i,j）：ただしｉ，ｊは任意画素の座標、kは何回目の部分露光かを示す）を後述の動きベクトル検出手法を用いて解析することにより各部分露光信号間の動き情報である動きベクトル（Ｖ[k]＝(x[k],y[k]））を求める。例えば図２の例では、部分露光画像Ｓ１とＳ２との間で動きベクトル（Ｖ[2]）、部分露光画像Ｓ２とＳ３との間で動きベクトル（Ｖ[3]）、部分露光画像Ｓ３とＳ４との間で動きベクトル（Ｖ[4]）が検出される。そして検出した動きベクトル情報に基づいて各回の撮影画枠をシフトさせつつ加算を行ない最終的な撮像画像Ｓout(i,j)を生成する。
【００４４】
ここで、図５に示すように、Ｓout(i,j)は生成画像の画枠サイズに対応した所定の画素数ｐ×ｑ（１≦ｉ≦ｐ，１≦ｊ≦ｑ）を有したものであり、ぶれによる移動分を見込んで撮像素子１０５の全画枠（有効撮像エリア）よりも少し小さいサイズに設定する。
【００４５】
加算処理に際して、第ｋ回目の露光分まで加算が終わった中間的なＳout(i,j)をＳout[k](i,j)と記す。また初回の露光（ｋ＝１）の時は撮影画枠中心つまり生成画像画枠の中心は図５のように有効撮像エリアの中央に設定されているが、説明を簡略化するため有効撮像エリアの座標はこの状態において生成画像の座標(i,j)と同数値となるように設定されているものとする。（従って、この状態における生成画枠外には負値座標も存在する。）
上記動きベクトルＶ[k]＝(x[k],y[k]）の定義を（絵柄の変化が無い被写体部分に関して）
（１）Ｓ[k](i+x[k],j+y[k]）＝Ｓ[k-1](i,j) （ｋ＝2〜ｎ）
とし、Ｖ[1]からＶ[k]までの総和である累積動きベクトルΣＶ[k]を
（２）ΣＶ[k]＝（Σx[k],Σy[k]）＝（x[1]+x[2]+・・・+x[k]，y[1]+y[2]+・・・+y[k]）
とすると、毎回の加算処理は
（３）Ｓout[1](i,j)＝Ｓ[1](i,j）×１／Ｇ    （１≦ｉ≦ｐ，１≦ｊ≦ｑ）
Ｓout[k](i,j)＝Ｓout[k-1](i,j)＋Ｓ[k](i+Σx[k],j+Σy[k])×１／Ｇ
で表わすことができる。
【００４６】
最終的な生成画像はＳout(i,j)＝Ｓout[ｎ](i,j)  によって求められる。この生成画像は最終的には通常の各種信号処理を経てメモリカード１１０に記録される。
【００４７】
ここで上記動きベクトルを検出する方法については任意の公知の手法を用いることができるが、一例を示せば撮影画枠に対して所定の部分エリアを検出エリアとして設けておき、この検出エリアに関してある仮定された動きベクトルＶ[k]に基づいて画像の相関評価値を算出する。例えば上記（１）の左辺と右辺の差の絶対値の総和
Σ｜Ｓ[k-1](i,j)−Ｓ[k](i+x[k],j+y[k]）｜  （ここでのΣは（２）とは異なりｉ，ｊに関する総和記号）
を求める。Ｖ[k]の仮定を変更する毎に得られた各相関評価値を比較して最小値（相関度最大に対応、完全一致の場合０となる）を与えるＶ[k]を求める動きベクトルとすれば良い。上記したとおり各部分露光画像の被写体信号成分のレベルが相対的に等しく保たれているから、このように比較的単純な演算処理で動きベクトルを求めることが可能になっている。
【００４８】
なお、この他にも以下のような様々な実施形態が考えられる。
【００４９】
・像移動加算処理は必ずしもカメラ内部で行う必要はなく、適用ゲインアップ率Ｇなどのパラメータを分割露光型撮像で得られた複数の部分露光画像を含む画像ファイルに付帯させて記憶しておくことにより、カメラ外部の任意の画像処理装置で像移動加算処理を行うことも出来る。
【００５０】
・動き検出については、例えばＡＥ，ＡＦ等のために本撮像前に行われる事前の画像解析（動きベクトル解析）に基づいて行ったり、あるいは例えばジャイロセンサなどの別センサからの信号に基づいて位置補正を行うようにしても良い。
【００５１】
・全露光の開始は、上記では電荷排出パルスＣＤＰの最終出力によって行なっているが、これに変えて（事前にメカシャッタを閉成しておき、電荷排出パルスＣＤＰの最終出力の後にこの）メカシャッタを開成することによって全露光を開始させても良い。
【００５２】
・全露光時間の終了はＣＣＤ１０５への被写体光の入力を遮光すればよいので、メカシャッタの他、例えば液晶シャッタなどの種々の光学的シャッタ手段を利用することが出来る。
【００５３】
また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、ＡＤ変換に関する量子化ノイズさらにはＡＤ変換前段でのアナログ系のゲインアップ比率の最大値をも考慮したゲイン設定を行うことにより、可能な範囲で量子化ノイズの増大を抑制しつつ、且つ適用可能な分割数を十分に広げることが可能な分割露光画像を実現することできる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるディジタルカメラの構成を示すブロック図。
【図２】同実施形態で用いられる分割露光撮像の撮像シーケンスを示すタイミングチャート。
【図３】同実施形態で用いられるゲイン設定動作の原理を説明するための図。
【図４】同実施形態の撮像動作を示すフローチャート。
【図５】同実施形態で用いられるＣＣＤの有効撮像エリアと生成画像画枠との関係を示す図。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…メカシャッタ
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０７ａ…ゲインコントロールアンプ
１０７ｂ…Ａ／Ｄ変換器
１０８…ディジタルプロセス回路
１０８ｂ…信号処理部
１０９…カードインターフェース
１１０…メモリカード
１１２…システムコントローラ
１１２ａ…分割露光制御部
１１２ｂ…ゲイン制御部
【図１】
0003960824.tif 000002
【図２】
0003960824.tif 000003
【図３】
0003960824.tif 000004
【図４】
0003960824.tif 000005
【図５】
0003960824.tif 000006