(57)【要約】【課題】撮影後に長時間待つことなく、ノイズの低減された高品位な画像を取得する。【解決手段】長時間露光モードにおいて、シャッタボタンが押圧操作されると、主画素では長時間の露光が行われ、各主画素に電荷が蓄積される。副画素では、露光中に複数回の電荷読み出しが行われ、複数の副画素データが生成される。副画素データは、画素単位で平均化されて補正用データが生成される。主画素の露光で得られた主画素データから補正用データを画素単位で減算する画像補正処理が行われて、補正画像データが生成される。補正画像データはメモリカードに記録される。【選択図】        図５
2004312374.tif 000002
【特許請求の範囲】
【請求項１】
各画素毎に受光素子が配列され、被写体光量に応じて前記受光素子に蓄積された電荷を撮像信号として転送路に出力し、前記転送路を介してデジタル変換手段に送られる前記撮像信号により画像データを生成する撮像方法において、
前記各画素で電荷が蓄積されている間に、前記転送路内の電荷を前記デジタル変換手段に送ることで前記転送路で発生する電荷に起因する補正データを生成して、前記画像データと前記補正データとの差分を各画素ごとに行って補正画像データを生成することを特徴とする撮像方法。
【請求項２】
前記各画素で電荷が蓄積されている間に、前記転送路内の電荷を一定間隔で複数回前記デジタル変換手段に送り、前記デジタル変換手段から出力される複数データの平均値を各画素毎に算出することで、前記補正データを生成することを特徴とする請求項１記載の撮像方法。
【請求項３】
前記各画素には副画素に相当する受光素子が備えられ、前記各画素で電荷が蓄積されている間に、前記副画素内に蓄積された電荷を前記転送路に出力し、前記転送路を介して前記デジタル変換手段に送ることで前記補正データを生成することを特徴とする請求項１記載の撮像方法。
【請求項４】
前記各画素で電荷が蓄積されている間に、前記副画素内の電荷を一定間隔で複数回前記デジタル変換手段に送り、前記デジタル変換手段から出力される複数データの平均値を各画素毎に算出することで、前記補正データを生成することを特徴とする請求項３記載の撮像方法。
【請求項５】
前記副画素に相当する受光素子は、前記画素に相当する受光素子よりも低感度であることを特徴とする請求項３又は４記載の撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像に含まれるノイズを低減させる撮像方法に関し、特に、長時間露光撮影に好適な撮像方法に関するものである。
【０００２】
【従来の技術】
撮影画像をデジタルデータとして記録する撮像装置として、デジタルスチルカメラやデジタルビデオカメラなどが広く普及している。これらのデジタルカメラは、撮影レンズの背後にＣＣＤやＣＭＯＳなどの撮像素子が配置されている。撮像素子は、撮影レンズを通して照射された被写体光を光電変換して、電荷を蓄積する受光素子が各画素に設けられ、各画素に蓄積された電荷を転送路により転送して、転送された電荷を撮像信号として出力する。出力された撮像信号は画像データにデジタル変換され、メモリカードなどの記憶媒体に記録される。
【０００３】
撮影された画像は、被写体像を忠実に再現したものであることが好ましい。しかし、転送路の不具合、暗電流、撮像素子周辺に配置された部材の電気的及び磁気的な影響などによって、撮像信号にノイズ成分が混入すると、再生される画像の画質が低下する。このため、ノイズを低減させて品位の高い画像を得るために様々な工夫がなされている。
【０００４】
下記特許文献１には、露光時間をＴとした撮影を行い、ＣＣＤに蓄えられた電荷を読み出した後に、シャッタを閉じた状態で時間Ｔだけ経過した後に、ＣＣＤにた加えられた電荷を読み出すことでノイズ成分に相当する信号を検出して、撮影により得られたデータからノイズ成分を減算することでノイズを低減するようにした撮像装置が記載されている。
【０００５】
【特許文献１】
特開２０００−２０９５０６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記公報記載の方法では、撮影後にノイズ成分を検出するために一定時間ＣＣＤを駆動できないため、露光時間が長い場合には連続撮影を行うことができないといった問題があった。
【０００７】
本発明は、上記問題点を解決するためになされたもので、撮影後に長時間待つことなく、ノイズの低減された高品位な画像を取得することが可能な撮像方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、本発明の撮像方法は、各画素で電荷が蓄積されている間に、転送路内の電荷をデジタル変換手段に送ることで転送路で発生する電荷に起因する補正データを生成して、画像データと補正データとの差分を各画素ごとに行って補正画像データを生成することを特徴としている。各画素で電荷が蓄積されている間に、転送路内の電荷を一定間隔で複数回デジタル変換手段に送り、デジタル変換手段から出力される複数データの平均値を各画素毎に算出することで、補正データを生成するようにしてもよい。
【０００９】
また、各画素には副画素に相当する受光素子が備えられており、各画素で電荷が蓄積されている間に、副画素内に蓄積された電荷を転送路に出力し、転送路を介してデジタル変換手段に送ることで補正データを生成するようにしてもよい。さらに、各画素で電荷が蓄積されている間に、副画素内の電荷を一定間隔で複数回デジタル変換手段に送り、デジタル変換手段から出力される複数データの平均値を各画素毎に算出することで、補正データを生成するようにしてもよい。なお、副画素に相当する受光素子は、画素に相当する受光素子よりも低感度であってもよい。
【００１０】
【発明の実施の形態】
本発明を実施したデジタルカメラ１０の前面側の斜視図を図１（Ａ）に、背面側の斜視図を同図（Ｂ）にそれぞれ示す。カメラ本体１１の前面には、撮影レンズ１３が設けられており、上面には、シャッタボタン１５が設けられている。
【００１１】
カメラ本体１１の背面には、ズームボタン、モード選択ボタン、電源ボタン、４つのボタンが十字配列されたカーソルボタンからなる操作部１７、及び、各種表示を行うためのＬＣＤ１９が設けられている。また、カメラ本体１１の側面には、メモリカード２１が着脱自在にセットされる。このメモリカード２１には、撮影により生成された画像データが記憶される。
【００１２】
デジタルカメラ１０には、撮影モード、再生モード、各種設定を行うメニューモードが設けられている。また、撮影モードには、通常撮影モードの他に、主に低輝度の被写体を撮影するための長時間露光モードが設けられている。各モードは、操作部１７を操作することによって切り替えることができる。ユーザーはこれらの各モードを切り替えながら、撮影モードにおいて撮影を行ったり、再生モードにおいて撮影済みの画像を確認したりする。また、メニューモードにおいては、各種設定を行うことができる。
【００１３】
図２に示すように、デジタルカメラ１０の内部にはＣＰＵ２３が設けられている。ＣＰＵ２３は、シャッタボタン１５や操作部１７から入力される操作信号に応じてデジタルカメラ１０の各部を制御する。
【００１４】
撮影レンズ１３は、モータを含むレンズ駆動機構２５によって駆動されて、光学撮影倍率の変更と焦点調整が行われる。絞り２７はモータを含む絞り駆動機構２９によって駆動されて、絞り径が切り替えられる。レンズ駆動機構２５及び絞り駆動機構２９は、ＣＰＵ２３に制御されるモータドライバ３１、３３によって駆動される。
【００１５】
絞り２７の背後には、撮像素子として、ＣＣＤイメージセンサ（ＣＣＤ）３５が配置されている。図３に示すように、ＣＣＤ３５には、複数の画素３６が並べて配置されている。さらに、各画素３６は、主画素３６ａとこの主画素３６ａよりも受光面積が小さい副画素３６ｂとから形成されている。主画素３６ａ及び副画素３６ｂは、照射された光を光電変換する受光素子であり、受光量に応じた電荷を蓄積する。また、主画素３６ａには副画素３６ｂよりも感度の高いものを使用している。
【００１６】
各画素３６には、駆動回路３９が接続されている。駆動回路３９は、ＣＰＵ２３によって動作制御され、各画素３６に蓄積された電荷を外部へ除去する電子シャッタ信号や、各画素３６に蓄積された電荷を転送路３７へ出力するための読み出し信号を発生する。電子シャッタ信号や読み出し信号の発生タイミングはＣＰＵ２３によってコントロールされる。また、電子シャッタ信号と読み出し信号は、主画素３６ａと副画素３６ｂに独立に与えられ、主画素３６ａと副画素３６ｂをそれぞれ独立に駆動できるようになっている。
【００１７】
各画素３６に電子シャッタ信号が与えられると、各画素３６内に蓄積されていた不要な電荷が除去され撮像が開始される。各画素３６には、被写体輝度、及び、受光時間に比例した量の電荷が蓄積される。予め定められた露光時間が経過すると各画素３６に読み出し信号が与えられ、蓄積された電荷が垂直転送路３７ａに出力される。各画素３６に蓄積された電荷は、垂直転送路３７ａにより垂直方向に転送された後、水平転送路３７ｂにより水平方向に転送され、１ラインずつシリアルな撮像信号として出力される。
【００１８】
デジタルカメラ１０が撮影モードにセットされるとＣＣＤ３５によりスルー画の撮像が開始される。スルー画はＬＣＤ１９に表示されたときにフレーミングが行える程度の画像が得られればよいので、画素数を落として撮像が行われる。撮影モード中にシャッタボタン１５が押圧操作されて本撮影指示が出されると、スルー画としての撮像が一端中止されて記録用の本画像としての撮像が行われる。本画像の撮像が終了した後はスルー画としての撮像が再開される。
【００１９】
ＣＣＤ３５から出力されたアナログの撮像信号は、アナログ信号処理回路４１に入力される。アナログ信号処理回路４１は、オートゲインコントローラ（ＡＧＣ）４２、ガンマ補正回路４３、Ａ／Ｄコンバータ４４とからなる。ＡＧＣ４２は、アナログ信号のゲインを設定し、このゲインでアナログ信号を増幅する。ガンマ補正回路４３は、モニタ出力用にガンマ補正を行う。Ａ／Ｄコンバータ４４は、アナログ信号をデジタル変換して画像データを生成する。これにより主画素３６ａから得られた撮像信号は主画素データに、副画素３６ｂから得られた撮像信号は副画素データに変換され、データバス４９を介してフレームメモリ５１に出力される。
【００２０】
スルー画撮像、及び、通常撮影モードにおける本画像の撮像では、主画素３６ａと副画素３６ｂは同じ露光時間で、同時に撮像を行う。そして、高感度の主画素３６ａより得られた主画素データは低輝度の被写体を再現するために、低感度の副画素３６ｂより得られた副画素データは高輝度の被写体を再現するために用いられる。
【００２１】
フレームメモリ５１に出力される画像データは、主画素３６ａや副画素３６ｂに蓄積された電荷を忠実にデータ化したものであることが好ましい。しかし、蓄積された電荷が転送路３７により転送されている間、または、アナログ信号処理回路４１内での処理過程において、撮像信号にノイズ信号が混入するため、画像データにはノイズ成分が含まれる。ノイズ成分の混入原因としては、画素３６や転送路３９内の傷などによる物理的な要因、暗電流や光ショットノイズ、アナログ信号処理回路４１での信号増幅やＡ／Ｄ変換時に生じるノイズ、周辺部材からの磁気的、電気的影響によるものなどがある。
【００２２】
また、主画素３６ａと副画素３６ｂに蓄積された電荷は、共通の転送路３７により転送され、アナログ信号処理回路４１内でも同じ過程を経て画像データとして出力されるので、主画素データと副画素データにはほぼ同量のノイズ成分が含まれている。
【００２３】
このノイズ成分を検知するために、長時間露光モードにおける本画像の撮像では、主画素３６ａと副画素３６ｂは独立して駆動される。長時間露光モードでは、主画素３６ａ、副画素３６ｂは長時間（例えば、２秒間）露光される。そして、主画素３６ａでは、長時間の露光が行われた後、蓄積された電荷が１回だけ出力され、主画素データが生成される。一方、副画素３６ｂでは、蓄積された電荷が複数回（例えば、５９回）出力され、副画素データが複数生成される。
【００２４】
図４に示すように、副画素データは、低感度の副画素３６ｂにより短い露光時間で撮像されたものであるので、出力値に占めるノイズ成分の割合が高く、副画素データ自体をノイズ成分とみなすことができる。副画素データは、ノイズのランダム成分を平滑化するために平均化され主画素データのノイズ補正用に用いられる。
【００２５】
フレームメモリ５１は、デジタル信号処理回路６１が画像データに対して各種信号処理を施す際に使用される作業用メモリであり、ノイズ成分を含む画像データが一時的に記憶される。フレームメモリ５１には、主画素用メモリ５１ａと、副画素用メモリ５１ｂが設けられており、主画素用メモリ５１ａには主画素データが記憶され、副画素用メモリ５１ｂには副画素データが記憶される。
【００２６】
デジタル信号処理回路６１は、画像調節部６３、画像合成部６４、補正用データ生成部６５、画像補正部６６とからなる。デジタル信号処理回路６１は、データバス４９によってＣＰＵ２３や、フレームメモリ５１、ＬＣＤ１９、メモリカード２１などと接続されており、これらはデータバス４９を介して情報の送受信を行うことができる。デジタル信号処理回路６１は、フレームメモリ５１内に記憶された画像データに対して各種の信号処理を行うとともに、ＬＣＤ１９にスルー画を表示したり、メモリカード２１にアクセスして画像データの読み書きを行う。
【００２７】
画像調節部６３には、ＡＦ回路６９、ＡＥ回路７１、ＡＷＢ回路７３、が設けられている。画像調整部６３は、フレームメモリ５１内に記憶された画像データに基づいて画像の調節を行う。ＡＦ回路６９では、焦点位置を検出してフォーカッシングが行われ、ＡＥ回路７１では、被写体輝度を測定して露出制御が行われる。ＡＷＢ回路７３は、オートホワイトバランス回路であり、撮影時のホワイトバランスを自動調整する。
【００２８】
画像合成部６４は、スルー画として、もしくは、通常撮影モードにおいて本画像として撮像された主画素データと副画素データの合成処理を行う。合成処理では、被写体の低輝度部分は主画素データを使用し、被写体の高輝度部分は副画素データを使用するようにして、主画素データと副画素データが合成され、合成画像データが生成される。
【００２９】
主画素３６ａは副画素３６ｂに対して高感度であり、短い露光時間で大きい出力値を得ることができるので、低輝度の被写体を再現する場合には好適であるが、高輝度の被写体を撮像すると蓄積可能な電荷が飽和してしまう。逆に副画素３６ｂは、主画素に対して感度は劣るが、高輝度の被写体を撮像しても蓄積可能な電荷が飽和してしまうといったことがないので、高輝度の被写体を再現する場合には好適である。
【００３０】
このため、合成画像データでは、広いダイナミックレンジを再現できる。この後、合成画像データは、スルー画として取得されたものである場合にはＬＣＤ１９に表示され、本画像として取得されたものである場合にはメモリカード２１に記録される。
【００３１】
補正用データ生成部６５は、長時間露光モードにおいて本画像として撮像された副画素データに基づいて補正用データを生成する。長時間露光モードにおいて本撮影指示が出されると、主画素３６ａの露光中に副画素３６ｂにより複数回の撮像が行われる。この撮像に伴ってフレームメモリ５１の副画素用メモリ５１ｂには順次副画素データが記憶されていく。
【００３２】
補正用データ生成部６５は、副画素用メモリ５１ｂに新たな副画素データが記憶されるごとにこの副画素データを取り込む。そして、取り込んだ複数の副画素データを画素単位で平均化して補正用データを生成する。生成された補正用データは画像補正部６６に送信される。
【００３３】
画像補正部６６は、長時間露光モードにおける本画像として撮像された主画素データから前記補正用データを画素単位で減算する画像補正処理を行って、補正画像データを生成する。この後、補正画像データは、メモリカード２１に記録される。
【００３４】
以下、本発明の作用について、図５に示すフローチャートを参照しながら説明をする。ユーザーは、デジタルカメラ１０を撮影モードにセットしてシャッタボタン１５を押圧操作することにより、撮影レンズ１３を通して得られる被写体像が撮像され、画像データが生成される。この画像データは、例えば、ＪＰＥＧ形式に従って圧縮されてメモリカード２１に記録される。
【００３５】
通常撮影モードにおいては、シャッタボタン１５の押圧操作に伴って高感度の主画素３６ａによる撮像と、低感度の副画素３６ｂによる撮像が同時に行われる。そして、主画素３６ａにより撮像された主画素データと副画素３６ｂにより撮像された副画素データの合成処理が行われる。合成処理では、被写体の低輝度部分は主画素データを使用し、被写体の高輝度部分は副画素データを使用するように主画素データと副画素データが合成され、合成画像データが生成される。
【００３６】
高感度の主画素３６ａは低輝度の被写体を再現する場合には好適であり、低感度の副画素３６ｂは高輝度の被写体を再現する場合には好適である。このため、合成画像データは広いダイナミックレンジを再現できる。
【００３７】
一方、長時間露光モードにおいては、シャッタボタン１５の押圧操作に伴って主画素３６ａが露光されて主画素３６ａによる撮像が開始される。副画素３６ｂは、主画素３６ａの露光中に短時間露光され複数回の撮像を行う。副画素３６ｂにより撮像された複数の副画素データは画素単位で平均化されて補正用データが生成される。そして、主画素３６ａによる撮像が終了して主画素データが得られると、この主画素データから補正用データを画素単位で減算する画像補正処理が行われて、補正画像データが生成される。
【００３８】
図４に示すように、副画素３６ｂの感度は低く、さらに、短時間露光により撮像が行われるので、副画素データは出力値に占めるノイズ成分の割合が高い。さらに、主画素データと副画素データは同じ過程を経て画像データ化されたものであり、含まれるノイズ成分は同量であるので、補正用データは主画素データ中に含まれるノイズ成分と見なすことができる。これによって、画像補正処理がなされるとノイズ成分の除去された質の高い画像を得ることができる。
【００３９】
また、主画素３６ａの露光中に副画素３６ｂから得られる信号を用いて補正画像データを生成するようにしたので、記録用の撮像を行った後に、ノイズ成分を検知するための撮像を行う場合と比較して、撮影時間が長くなってしまうといったことがない。
【００４０】
なお、上記実施形態では特に触れなかったが、長時間露光モードにおける主画素の露光時間、及び、副画素に蓄積された電荷を転送路へ出力する回数については適宜変更することができる。
【００４１】
また上記実施形態では、副画素に蓄積された電荷を用いてノイズ成分の検出を行っているが、本発明はこれに限定されない。例えば転送路では、傷等の欠陥や暗電流に起因した電荷がノイズとして蓄積される。主画素、あるいは副画素から出力された撮像信号は、転送路を介してアナログ信号処理回路へ送られるので、転送路で発生した電荷やアナログ信号処理回路での信号処理で発生するノイズの影響を受ける。このため、転送路のみを駆動して転送路で発生した電荷をアナログ信号処理回路へ出力して、転送路で発生した電荷に起因するデータ（転送路データ）を生成して、この転送路データを用いて画像補正を行うようにしてもよい。
【００４２】
この転送路データは、通常の画像データと同様の手順で生成されるため、得られるデータは各画素の成分を含む。そして、転送路データの各画像成分は、ＣＣＤの各画素からアナログ信号処理回路に至る転送路内で発生する電荷によって定められる。
【００４３】
長時間露光時に、副画素データと転送路データとを交互に生成してフレームメモリに記憶し、各データを平均化してノイズのランダム成分を平滑化する。そして、転送路データを転送路及びアナログ信号処理回路のノイズ成分と判定する。また、副画素データから転送路データを画素毎に減算したデータを副画素内の暗電流に起因するノイズ成分と判定する。暗電流の量は、受光素子の電荷蓄積時間と面積に比例して大きくなるので、主画素と副画素の電荷蓄積時間比及び面積比から、主画素内の暗電流に起因するノイズ成分を算出することができる。
【００４４】
また主画素において長時間露光を行っている間に転送路を駆動して、転送路のある電荷をアナログ信号処理回路へ出力することで転送路データのみを生成することも可能である。この場合では、主画素に蓄積された電荷から生成された主画素データから、上述の転送路データを画素毎に減算処理することで、転送路内で発生したノイズ成分を除去することができる。この場合では、副画素に蓄積された電荷を読み出す必要がないため、副画素を省略することができる。
【００４５】
【発明の効果】
以上詳細に説明したように、本発明は、各画素で電荷が蓄積されている間に、転送路内の電荷をデジタル変換手段に送ることで転送路で発生する電荷に起因する補正データを生成して、画像データと補正データとの差分を各画素ごとに行って補正画像データを生成するようにしたので、撮影後に長時間待つことなく、ノイズの低減された高品位な画像を取得することが可能である。
【図面の簡単な説明】
【図１】デジタルカメラの外観斜視図であり（Ａ）は前面側、（Ｂ）は背面側を表す。
【図２】デジタルカメラの構成を示すブロック図である。
【図３】ＣＣＤの構造を概略的に表した説明図である。
【図４】長時間露光モードにおける、主画素データと副画素データの特性を表した説明図である。
【図５】本撮影が行われたときの動作を表すフローチャートである。
【符号の説明】
１０  デジタルカメラ
２３  ＣＰＵ
３５  ＣＣＤ
３６  画素
３６ａ  主画素
３５ｂ  副画素
３７  転送路
３７ａ  垂直転送路
３７ｂ  水平転送路
３９  駆動回路
４１  アナログ信号処理回路
５１  フレームメモリ
５１ａ  主画素用メモリ
５１ｂ  副画素用メモリ
６１  デジタル信号処理回路
６４  画像合成部
６５  補正用データ生成部
６６  画像補正部
【図１】
2004312374.tif 000003
【図２】
2004312374.tif 000004
【図３】
2004312374.tif 000005
【図４】
2004312374.tif 000006
【図５】
2004312374.tif 000007