(57)【要約】【課題】垂直転送部の暗電流ノイズによって発生する線状ノイズを画質の劣化を抑えながら除去する。【解決手段】２次元の行列状に配列された複数の受光素子と、受光素子からの電荷を垂直方向に転送する垂直転送部とを有する撮像素子を備え、受光素子からの電荷を垂直転送部に転送せずに垂直転送部を駆動させることで取得される、線状ノイズが含まれるダミー画像を読み出す読出手段と、読出手段により読み出されたダミー画像に基づいて線状ノイズ量を検出する検出手段と、検出手段により検出された線状ノイズ量と垂直転送部による電荷の垂直転送時間とに基づいて線状ノイズを補正する補正値データを生成する生成手段と、受光素子からの電荷を垂直転送部に転送し垂直転送部を駆動させることで取得される画像から、生成手段により生成された補正値データを減算する減算手段と、を有する。【選択図】図５
2013081037.tif 000002
【特許請求の範囲】
【請求項１】
２次元の行列状に配列された複数の受光素子と、前記受光素子からの電荷を垂直方向に転送する垂直転送部とを有する撮像素子を備える画像処理装置であって、
前記受光素子からの電荷を前記垂直転送部に転送せずに前記垂直転送部を駆動させることで取得される、線状ノイズが含まれるダミー画像を読み出す読出手段と、
前記読出手段により読み出されたダミー画像に基づいて線状ノイズ量を検出する検出手段と、
前記検出手段により検出された線状ノイズ量と前記垂直転送部による電荷の垂直転送時間とに基づいて線状ノイズを補正する補正値データを生成する生成手段と、
前記受光素子からの電荷を前記垂直転送部に転送し前記垂直転送部を駆動させることで取得される画像から、前記生成手段により生成された補正値データを減算する減算手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記垂直転送部は、前記複数の受光素子が複数のフィールドに分けられて転送された電荷を垂直方向に転送し、
前記検出手段は、前記ダミー画像の１フィールド分の転送が終わった後の領域を用いて線状ノイズ量を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記ダミー画像の１フィールド分の転送が終わった後の領域における線状ノイズ量の平均値を線状ノイズ量として検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記１フィールド分の水平ラインおよび垂直ラインに対応する、前記補正値データを生成するための補正値を算出する算出手段と、
前記算出手段により算出された補正値と閾値とを比較する比較手段とを有し、
前記減算手段は、前記比較手段による比較の結果、補正値が閾値以下の場合、前記受光素子からの電荷を前記垂直転送部に転送し前記垂直転送部を駆動させることで取得される画像から減算しないことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記比較手段による比較の結果、補正値が閾値以下の場合、前記補正値を０として補正値データを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記減算手段は、前記補正値データにゲインをかけて減算することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
２次元の行列状に配列された複数の受光素子と、前記受光素子からの電荷を垂直方向に転送する垂直転送部とを有する撮像素子を備える画像処理装置の制御方法であって、
前記受光素子からの電荷を前記垂直転送部に転送せずに前記垂直転送部を駆動させることで取得される、線状ノイズが含まれるダミー画像を読み出す読出ステップと、
前記読出ステップにより読み出されたダミー画像に基づいて線状ノイズ量を検出する検出ステップと、
前記検出ステップにより検出された線状ノイズ量と前記垂直転送部による電荷の垂直転送時間とに基づいて線状ノイズを補正する補正値データを生成する生成ステップと、
前記受光素子からの電荷を前記垂直転送部に転送し前記垂直転送部を駆動させることで取得される画像から、前記生成ステップにより生成された補正値データを減算する減算ステップと、を有することを特徴とする制御方法。
【請求項８】
２次元の行列状に配列された複数の受光素子と、前記受光素子からの電荷を垂直方向に転送する垂直転送部とを有する撮像素子を備える画像処理装置を制御するためのプログラムであって、
前記受光素子からの電荷を前記垂直転送部に転送せずに前記垂直転送部を駆動させることで取得される、線状ノイズが含まれるダミー画像を読み出す読出ステップと、
前記読出ステップにより読み出されたダミー画像に基づいて線状ノイズ量を検出する検出ステップと、
前記検出ステップにより検出された線状ノイズ量と前記垂直転送部による電荷の垂直転送時間とに基づいて線状ノイズを補正する補正値データを生成する生成ステップと、
前記受光素子からの電荷を前記垂直転送部に転送し前記垂直転送部を駆動させることで取得される画像から、前記生成ステップにより生成された補正値データを減算する減算ステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像の処理を行う画像処理装置、その制御方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤやＣＭＯＳ等の撮像素子により静止画像や動画像の画像を撮像する撮像装置が知られている。そのような撮像装置では、固定パターンノイズが発生し、撮像画像の画質が低下することがある。固定パターンノイズは、撮像素子を構成する半導体の局所的な結晶の正常でない部分や暗電流ノイズに起因して発生する、撮像素子に固有のノイズである。
【０００３】
撮像素子を構成する半導体の局所的な結晶の正常でない部分による固定パターンノイズとしては次のものがある。すなわち、結晶の正常でない部分の画素に起因して点状に現れる白キズや、垂直転送レジスタにおける結晶の正常でない部分を電荷が転送されることで転送方向である垂直方向に線状に現れる線キズ等である。例えば、特許文献１に開示された撮像装置では、撮像素子の欠陥により発生する垂直方向の線キズの画像データを受光素子から電荷を読み出さないで取得し、受光素子から電荷を読み出して得られた画像データから減算することで除去している。
【０００４】
また、撮像装置における撮像時の条件が高感度、長時間露光、高温度下等である場合には、撮像素子において暗電流ノイズが多く発生することが知られている。暗電流ノイズは、撮像素子が光エネルギーだけでなく熱エネルギーも電気信号に変換する性質を持つために発生するものであり、温度が約１０°Ｃ上昇すると暗電流ノイズが約２倍となる程度の温度依存性を有している。
【０００５】
撮像素子は、例えば出力アンプ等の消費電流の多い部分で温度が上昇し、その部分的な温度上昇により暗電流ノイズが部分的に多くなることがある。暗電流ノイズは、撮像素子の画素部分だけでなく、光電変換後の電荷を転送する垂直転送レジスタ等でも発生する。撮像素子の垂直転送レジスタで発生する暗電流ノイズは、撮像画像において垂直方向に白すじ（線状ノイズ）となって現れる。なお、撮像画像における線状ノイズの特性としては次の３つを挙げることができる。
【０００６】
第１の特性として、線状ノイズは、撮像画像内に一様に発生するランダムノイズと同等な小さなレベルであっても目立ちやすいことである。第２の特性として、電荷が撮像素子の垂直転送レジスタに長く置かれるほど暗電流ノイズが増加するため、撮像素子の撮像画面の垂直方向に暗電流ノイズのレベル差が生じやすいことである。第３の特性として、撮像素子の垂直転送レジスタ毎の暗電流ノイズのレベルや電荷の転送効率にばらつきがあり、撮像素子の撮像画面の垂直方向にすじ状となった濃淡むらが生じやすいことである。すなわち、撮像画像における線状ノイズは、ランダムノイズ程度の大きさでも目立ちやすく、垂直転送レジスタの転送方向に生じやすい特性がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７８６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示された撮像装置では垂直方向に線状に現れる線キズを補正する場合には有効であるものの、上述したような特性がある線状ノイズについては十分な効果を得ることができない場合がある。すなわち、特許文献１に開示された撮像装置を用いて、線状ノイズを補正しようとすると、不要な画素についても減算処理を行なってしまい画像が劣化してしまう虞がある。
【０００９】
本発明は、上述したような問題点に鑑みてなされたものであり、垂直転送部の暗電流ノイズによって発生する線状ノイズを画質の劣化を抑えながら除去することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、２次元の行列状に配列された複数の受光素子と、前記受光素子からの電荷を垂直方向に転送する垂直転送部とを有する撮像素子を備える画像処理装置であって、前記受光素子からの電荷を前記垂直転送部に転送せずに前記垂直転送部を駆動させることで取得される、線状ノイズが含まれるダミー画像を読み出す読出手段と、前記読出手段により読み出されたダミー画像に基づいて線状ノイズ量を検出する検出手段と、前記検出手段により検出された線状ノイズ量と前記垂直転送部による電荷の垂直転送時間とに基づいて線状ノイズを補正する補正値データを生成する生成手段と、前記受光素子からの電荷を前記垂直転送部に転送し前記垂直転送部を駆動させることで取得される画像から、前記生成手段により生成された補正値データを減算する減算手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、垂直転送部の暗電流ノイズによって発生する線状ノイズを画質の劣化を抑えながら除去することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】画像処理装置の動作を示すフローチャートである。
【図４】画像処理装置の測距・測光処理を示すフローチャートである。
【図５】画像処理装置の撮影処理を示すフローチャートである。
【図６】撮像素子の構成を示す図である。
【図７】メモリ領域の配置を示す図である。
【図８】ダミー画像の暗電流の一例を示す図である。
【図９】線状ノイズの補正値データの一例を示す図である。
【図１０】画像処理装置の記録処理を示すフローチャートである。
【図１１】線状ノイズ補正に係るタイミングチャートである。
【図１２】線状ノイズ補正を行う前後の画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
図１は、本実施形態に係る画像処理装置の構成を示す図である。ここでは、画像処理装置としてデジタルスチルカメラやデジタルビデオカメラ等の撮像装置を例にして説明する。
図１において、１００は画像処理装置である。１０は撮影レンズである。１２は絞り機能を備えるシャッターである。１４は光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。１６は撮像素子１４から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換器である。
【００１４】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路である。タイミング発生回路１８はメモリ制御回路２２およびシステム制御回路５０により制御される。２０は画像処理回路である。画像処理回路２０はＡ／Ｄ変換器１６からのデータまたはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１５】
また、画像処理回路２０においては、撮像画像の画像データを用いて所定の演算処理を行い、システム制御回路５０が演算結果に基づいて露光制御部４０、測距制御部４２に対して制御を行う。この制御は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等である。
更に、画像処理回路２０においては、撮像画像の画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１６】
２２はメモリ制御回路である。メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
Ａ／Ｄ変換器１６のデータは画像処理回路２０、メモリ制御回路２２を介してまたは直接メモリ制御回路２２を介して画像表示メモリ２４またはメモリ３０に書き込まれる。
【００１７】
２４は画像表示メモリである。２６はＤ／Ａ変換器である。２８はＴＦＴ  ＬＣＤ等からなる画像表示部である。画像表示部２８は画像表示メモリ２４に書き込まれた表示用の画像データをＤ／Ａ変換器２６を介して表示する。画像表示部２８を用いて画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。
【００１８】
３０は撮影した静止画像や動画像を格納するためのメモリである。メモリ３０は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。したがって、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００１９】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像データを読み込んで圧縮処理または伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
４０は絞り機能を備えるシャッター１２を制御する露光制御部である。露光制御部４０はフラッシュ４８と連携することによりフラッシュ調光機能も有する。
４２は撮影レンズ１０のフォーカシングを制御する測距制御部である。４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４６はバリアである保護部１０２の動作を制御するバリア制御部である。４８はフラッシュである。フラッシュ４８はＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００２０】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像画像の画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。
５０は画像処理装置１００全体を制御するシステム制御回路である。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００２１】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の表示部である。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数または複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００２２】
表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００，２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等もある。
また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２３】
６０，６２，６４，７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数または複数の組み合わせで構成される。
ここで、これらの操作部の具体的な説明を行う。
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００２４】
６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
６４はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。露光処理とは、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込む処理である。現像処理とは、画像処理回路２０やメモリ制御回路２２での演算を用いて画像データを可視化する処理である。記録処理とは、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００，２１０に書き込む処理である。
【００２５】
７０は各種ボタンやタッチパネル等からなる操作部である。操作部７０はメニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンが含まれる。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含まれる。
【００２６】
８０は電源制御部である。電源制御部８０は電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００２７】
８２，８４はコネクタである。８６は電源である。電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等である。
９０，９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２，９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２，９６に記録媒体２００，２１０が装着されているか否かを検知する記録媒体着脱検知部である。
【００２８】
なお、本実施形態では記録媒体を取り付けるインタフェースおよびコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェースおよびコネクタは単数または複数、何れの系統数を備える構成としても構わない。また、異なる規格のインタフェースおよびコネクタを組み合わせて備える構成としても構わない。
インタフェースおよびコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。更に、インタフェース９０，９４あるいはコネクタ９２，９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、次のことが可能となる。すなわち、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等の各種通信カードを接続することができる。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００２９】
１０２は画像処理装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する保護部である。
１０４は光学ファインダである。光学ファインダ１０４を用いることで画像表示部２８による電子ファインダ機能を使用することなく、撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。
【００３０】
１１０は通信部である。通信部１１０はＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタまたは無線通信の場合はアンテナである。
２００，２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２００，２１０は半導体メモリや磁気ディスク等から構成される記録部２０２，２１２、画像処理装置１００とのインタフェース２０４，２１４、画像処理装置１００と接続を行うコネクタ２０６，２１６を備えている。
【００３１】
次に、図２および図３を参照して、画像処理装置１００の動作について説明する。以下に説明する動作は、システム制御回路５０がメモリ５２等に格納されているプログラムを実行することにより実現することができる。
まず、システム制御回路５０は、電池交換等の電源投入によりフラグや制御変数等を初期設定し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態にする（ステップＳ１０２）。
【００３２】
システム制御回路５０はモードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されている場合（ステップＳ１０３）、各表示部の表示を終了状態に変更し、保護部１０２のバリアを閉じて撮像部を保護する。また、システム制御回路５０はフラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。更に、システム制御回路５０は、電源制御部８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行なった後（ステップＳ１０５）、ステップＳ１０３に戻る。
【００３３】
モードダイアル６０がその他のモードに設定されている場合（ステップＳ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を行った後、ステップＳ１０３に戻る。
モードダイアル６０が撮影モードに設定されている場合（ステップＳ１０３）、ステップＳ１０６に進む。
【００３４】
システム制御回路５０は、電源制御部８０を介して電池等の電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断する（ステップＳ１０６）。問題がある場合、システム制御回路５０は表示部５４を用いて画像や音声により所定の警告表示を行った後（ステップＳ１０８）、ステップＳ１０３に戻る。問題がない場合、システム制御回路５０は記録媒体２００，２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（ステップＳ１０７）。
【００３５】
問題がある場合、システム制御回路５０は表示部５４を用いて画像や音声により所定の警告表示を行った後（ステップＳ１０８）、ステップＳ１０３に戻る。
問題がない場合、システム制御回路５０は表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮの場合、システム制御回路５０は画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。
【００３６】
システム制御回路５０は、画像データを逐次表示するスルー表示状態に設定して（ステップＳ１１０）、ステップＳ１１１に進む。スルー表示状態では、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータをメモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、電子ファインダ機能を実現することができる。
【００３７】
次に、システム制御回路５０はシャッタースイッチＳＷ１が押されたかを判断し（ステップＳ１１１）、押されていない場合、ステップＳ１０３に戻り、シャッタースイッチＳＷ１が押された場合、ステップＳ１１２に進む。
システム制御回路５０は測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値およびシャッター時間を決定する（ステップＳ１１２）。測光処理において、必要であればフラッシュの設定も行う。ステップＳ１１２の測距・測光処理の詳細は、図４を参照して後述する。測距・測光処理が終了した後、ステップＳ１１３に進む。
【００３８】
システム制御回路５０はシャッタースイッチＳＷ２が押されたかを判断し（ステップＳ１１３）、押されていない場合、更にシャッタースイッチＳＷ１も解除されている場合（ステップＳ１１４）、ステップＳ１０３に戻る。シャッタースイッチＳＷ２が押された場合、ステップＳ１１５に進む。
システム制御回路５０は撮影処理を実行する（ステップＳ１１５）。すなわち、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介してまたはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理を行なう。また、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理を行なう。ステップＳ１１５の撮影処理の詳細は、図５を参照して後述する。撮影処理が終了した後、ステップＳ１１６に進む。
【００３９】
システム制御回路５０はメモリ３０に書き込まれた撮像画像の画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を行う。また、システム制御回路５０は圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行なう。その後、システム制御回路５０は記録媒体２００，２１０に画像データの書き込みを行う記録処理を実行する（ステップＳ１１６）。ステップＳ１１６の記録処理は、図１０を参照して後述する。
【００４０】
次に、システム制御回路５０はシャッタースイッチＳＷ２が押されたかを判断し（ステップＳ１１７）、押された場合、ステップＳ１１８に進み、押されていない場合、システム制御回路５０は一連の撮影動作を終了した後、ステップＳ１０３に戻る。
システム制御回路５０は連写モードが設定されているかを判断する（ステップＳ１１８）。連写モードが設定されていた場合、ステップＳ１１５に戻り、システム制御回路５０は再び撮影処理を行なう（ステップＳ１１５）。連写モードが設定されていない場合、ステップＳ１１７に戻り、システム制御回路５０はシャッタースイッチＳＷ２がＯＦＦされるまで待機し、ＯＦＦされた後、一連の撮影動作を終了し、ステップＳ１０３に戻る。
【００４１】
図４は、図３に示すフローチャートにおけるステップＳ１１２の測距・測光処理の詳細なフローチャートである。
システム制御回路５０は撮像素子１４から信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮像画像の画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分だけ切り取って抽出し、演算に用いる。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
【００４２】
画像処理回路２０での演算結果を用いて、システム制御回路５０は露出（ＡＥ）が適正と判断するまで（ステップＳ２０２）、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。
ＡＥ制御で得られた測定データを用いて、システム制御回路５０はフラッシュが必要か否かを判断し（ステップＳ２０４）、フラッシュが必要な場合、フラッシュフラグをセットし、フラッシュ４８を充電する（ステップＳ２０５）。
露出が適正と判断した場合（ステップＳ２０２）、システム制御回路５０は測定データおよび／または設定パラメータをシステム制御回路５０の内部メモリまたはメモリ５２に記憶する。
【００４３】
画像処理回路２０での演算結果およびＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランスが適正と判断するまで（ステップＳ２０６）、画像処理回路２０を用いてＡＷＢ制御を行う（ステップＳ２０７）。
ホワイトバランスが適正と判断した場合（ステップＳ２０６）、システム制御回路５０は測定データおよび／または設定パラメータをシステム制御回路５０の内部メモリまたはメモリ５２に記憶する。
【００４４】
ＡＥ制御およびＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は測距（ＡＦ）が合焦と判断するまで（ステップＳ２０８）、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２０９）。
測距が合焦と判断した場合（ステップＳ２０８）、システム制御回路５０は測定データおよび／または設定パラメータをシステム制御回路５０の内部メモリまたはメモリ５２に記憶し、測距・測光処理（ステップＳ１２２）を終了する。
【００４５】
図５は、図３に示すフローチャートにおけるステップＳ１１５における撮影処理の詳細なフローチャートである。
システム制御回路５０は、システム制御回路５０の内部メモリまたはメモリ５２に記憶される測光データに従い、露光制御部４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光する。これは、ステップＳ３０１、ステップＳ３０２において行なわれる。
【００４６】
システム制御回路５０は、フラッシュフラグによりフラッシュ４８が必要か否かを判断し（ステップＳ３０３）、必要な場合、フラッシュを発光させる（ステップＳ３０４）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ３０５）、シャッター１２を閉じる（ステップＳ３０６）。システム制御回路５０はシャッター速度が所定速度以上であるかを判断する（ステップＳ３０７）。また、システム制御回路５０は撮像素子１４の温度が所定温度以下であるかを判断する（ステップＳ３０８）。シャッター速度が所定速度以上、且つ撮像素子１４の温度が所定温度以下の場合、システム制御回路５０はダミー画像の読み出しを行い（ステップＳ３１０）、線状ノイズ補正を行う。一方、ステップＳ３０７とステップＳ３０８の条件が満たされていない場合、線状ノイズだけでなく画素自体の固定パターンノイズが目立つようになるので、システム制御回路５０は黒引き処理を行う（ステップＳ３１５以降）。
【００４７】
ここで黒引き処理とは、撮像素子１４の撮像画像の露光時間と同じ時間だけシャッター１２を閉じた状態で電荷の蓄積を行ない、この蓄積の結果得られた暗電流成分を撮像画像の信号から差し引く処理である。この処理を行なうことにより、撮像画像の信号から暗電流成分が除去され、暗電流による固定パターンノイズを低減させることができる。また、この黒引き処理を行なうと、詳細は後述するが、線状ノイズの信号成分も撮像画像の信号から差し引かれるので、線状ノイズ補正を行なう必要がない。
【００４８】
さて、ステップＳ３１０以降による線状ノイズ補正の説明の前に、本実施形態に用いられる撮像素子１４であるＣＣＤの構造について説明する。
図６は、本実施形態に用いられる撮像素子１４の構成を示す図である。
図６に示すように、撮像素子１４（ＣＣＤ）は、２次元の行列状に多数の画素（受光素子）１４ａが並んで配置され、それらの画素１４ａの列の間に垂直転送部としての垂直転送レジスタ１４ｂが配置されて構成されている。これらの画素の配置は、Ｒ（赤）の画素とＧ（緑）の画素が並んだ垂直方向の配列と、Ｇ（緑）の画素とＢ（青）の画素が並んだ垂直方向の配列とが水平方向に交互に並んだ、いわゆるベイヤ配列である。
【００４９】
本実施形態では、このような配置の画素からの電荷の読み出しを、６フィールド読み出しにより行なう。６フィールド読み出しでは、最初の第１フィールドにおいて１行目、７行目…の画素の電荷を垂直転送レジスタ１４ｂに転送して読み出し、次の第２フィールドにおいて２行目、８行目…の画素の電荷を同様に読み出す。第３フィールドにおいて３行目、９行目…の画素の電荷、第４フィールドにおいて４行目、１０行目…の画素の電荷、第５フィールドにおいて５行目、１１行目…の画素の電荷、第６フィールドにおいて６行目、１２行目…の画素の信号を読み出す。なお、垂直転送レジスタ１４ｂに転送された電荷は、垂直転送レジスタ１４ｂにより垂直方向に転送された後、水平転送部としての水平転送レジスタ１４ｃにより後段のアンプに送信される。
上述したように読み出すのは、近年の撮像素子１４では画素数が極めて多く、画素同士が近接しているため、全画素の信号を一括して垂直転送レジスタ１４ｂに転送すると、垂直転送レジスタ１４ｂ内で上下の隣り合う画素の信号が混色を起こしてしまうからである。
【００５０】
図５のフローチャートに戻り、線状ノイズ補正では、システム制御回路５０は撮像素子１４からダミー画像を読み出す（ステップＳ３１０）。この処理は、読出手段による処理の一例に対応する。システム制御回路５０は、読み出したダミー画像を、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介してまたはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に書き込む。具体的には、システム制御回路５０は撮像素子１４で被写体を撮影した後に、その撮像画像の画像データを各画素１４ａから垂直転送レジスタ１４ｂに転送しない状態で、垂直転送レジスタ１４ｂを駆動し、撮像画像の信号のない状態で空転送を行なう。この空転送により、垂直転送レジスタ１４ｂの暗電流ノイズによる線状ノイズの信号のみを読み出すことができる。空転送により読み出した画像をダミー画像というものとする。
【００５１】
このとき、本実施形態のように６フィールドからなる撮像画像の場合、システム制御回路５０は、図７に示すようにメモリ３０の６フィールド目の次のメモリ領域にダミー画像を書き込む。ダミー画像のサイズは撮像画像の１フィールド分の画像サイズに線状ノイズ量を検出する線状ノイズ検出領域を加えたサイズとなる。なお、以下では、ダミー画像を読み出すときのフィールドを、第１フィールド〜第６フィールドと区別するために、ダミーフィールドというものとする。ダミーフィールドの画像、すなわちダミー画像は、図７に示すダミーフィールドラインに記憶される。なお、図７に示すように、ダミーフィールドラインには、線状ノイズ検出領域の画像を記憶するための線状ノイズ検出ラインが含まれる。
【００５２】
次に、システム制御回路５０は線状ノイズ量を検出する（ステップＳ３１１）。図８は、ダミー画像の暗電流の一例を示す図であり、横軸が画面の位置を示し、縦軸が暗電流の大きさ、すなわち線状ノイズ量を示している。図８に示すように、画面の下部に行くほど線状ノイズ量が蓄積されて多くなる。これは各フィールドの画像を読み出す直前に垂直転送レジスタ１４ｂを高速に動作させる駆動（ここでは高速掃出しと呼ぶ。）を行なった場合、画面の上部は高速掃出しが行なわれた直後のため、垂直転送レジスタ１４ｂは暗電流がクリアされた状態となる。一方、画面の下部に行くほど暗電流が蓄積される。画面の下部に行くということは垂直転送レジスタ１４ｂにいる時間が長くなるということであり、垂直転送時間に比例して暗電流が蓄積されることになる。また、線状ノイズ量は１フィールド分の垂直転送が完了した後は１ラインに蓄積される暗電流が一定になるため線状ノイズ量は一定量となる。なお、図８に示すようなダミー画像の暗電流を示すグラフの特性は、各水平ラインの線状ノイズ量に応じて、水平ライン毎に異なっている。
【００５３】
線状ノイズ量を検出する場合、システム制御回路５０は、図８に示すように線状ノイズ量が一定となる領域を線状ノイズ検出領域として、この領域の画素の平均値を各水平ライン数分、線状ノイズ検出値として取得する。
次に、システム制御回路５０は、補正値データを生成する（ステップＳ３１２）。補正値データを生成する方法として、次の式（１）を用い、上述した各水平ラインの線状ノイズ検出値と垂直転送レジスタ１４ｂの垂直転送時間とに基づき、補正値（ｖ）を算出することで生成する。
【００５４】
【数１】
2013081037.tif 000003
【００５５】
ここで、ｖ：垂直ライン（垂直ライン０からの垂直ラインナンバー）、ｈ：水平ライン（水平ライン０からの水平ラインナンバー）を示している。補正値（ｖ）は、各水平ライン毎に、垂直ラインの数だけ算出される。また、線状ノイズ検出値（ｈ）は、上述した線状ノイズ検出領域から算出され、１つの水平ライン内では同じ値である。また、１フィード分の垂直転送時間は、垂直転送レジスタ１４ｂに応じた既定値であり、予めメモリ３０に記憶されている。また、１垂直ラインの垂直転送時間も、垂直転送レジスタ１４ｂに応じた既定値であり、予めメモリ３０に記憶されている。したがって、補正値（ｖ）を算出する垂直ラインにおける垂直転送時間は、１垂直ラインの垂直転送時間に垂直ラインナンバーを乗算することで算出できる。また、出力値（ｈ）は、垂直ライン０における出力値（線状ノイズ検出値）であり、１つの水平ライン内では同じ値である。この出力値（ｈ）を設定することで、図８に示すように垂直ライン０のとき、０ではないオフセット（出力オフセット分）が発生している場合にも対応することができる。
【００５６】
システム制御回路５０は、式（１）で算出した補正値を用いて、図９に示すような１フィールド分の画素に対応した補正値データを生成することができる。線状ノイズ検出値（ｈ）が小さい場合、図９に示す水平ラインｈ１のように、補正値が全て０となる。線状ノイズ検出値（ｈ）が大きい場合、図９に示す水平ラインｈ２のように、画面上部まで補正値が０以外の数値となる。なお、システム制御回路５０は、算出した補正値と閾値とを比較して、算出した補正値が閾値以下であれば、補正値を０にして補正値データを生成することができる。
【００５７】
次に、システム制御回路５０は、第１フィールドに対応する画素１４ａの電荷を垂直転送レジスタ１４ｂに転送し、垂直転送レジスタ１４ｂを駆動して撮像画像の第１フィールドの電荷を読み出す。同様に、第２フィールド〜第６フィールドについても各フィールドに対応する画素の電荷を順に読み出していく（ステップＳ３１３）。この撮像画像を読み出すとき、システム制御回路５０はステップＳ３１２で生成した補正値データを各フィールド毎に減算し、メモリ３０に線状ノイズ補正された各フィールドの画像を書き込んでいく（ステップＳ３１４）。線状ノイズ補正された各フィールドの画像は、図７に示すようにメモリ３０の各フィールドに対応する領域に書き込まれる。すなわち、第１フィールド〜第６フィールドの画像は、それぞれ第１フィールドライン〜第６フィールドラインに記憶される。
なお、線状ノイズ補正については、図１０および図１１を用いて更に詳細に後述する。
【００５８】
図５のフローチャートに戻り、黒引き処理では、システム制御回路５０は撮像画像を読み出す（ステップＳ３１５）。その後、システム制御回路５０は直前の撮影時と同じ露光時間で蓄積した黒画像を読み出す必要があるので、シャッターを閉じたまま露光を開始する（ステップＳ３１６）。システム制御回路５０は露光時間の終了を待ち（ステップＳ３１７）、黒画像を撮像素子１４から順次読み出す（ステップＳ３１８）。システム制御回路５０は既にステップＳ３１５で読み出されてメモリ３０に記憶されている撮像画像をメモリ３０から読み出しながら、ステップＳ３１８で読み出した黒画像を減算し（黒引き処理）、メモリ３０に書き戻す（ステップＳ３１９）。
【００５９】
メモリ３０上に撮像画像が揃った後、システム制御回路５０は設定された撮影モードに応じて、現像処理（ステップＳ３２０）を順次行った後、処理した撮像画像の画像データをメモリ３０に書き込む。システム制御回路５０は一連の処理をすることで、撮影処理（ステップＳ１１５）を終了する。
【００６０】
図１０は、図３に示すフローチャートにおけるステップＳ１１６の記録処理の詳細なフローチャートである。
システム制御回路５０はメモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、圧縮・伸長回路３２を介して設定したモードに応じた圧縮処理を行う（ステップＳ４０１）。その後、システム制御回路５０はインタフェース９０，９４、コネクタ９２，９６を介して、メモリカードやＣＦカード等の記録媒体２００，２１０に圧縮した画像データの書き込みを行う（ステップＳ４０２）。
システム制御回路５０は記録媒体２００，２１０への書き込みをすることで、記録処理（ステップＳ１３４）を終了する。
【００６１】
図１１は、図５に示すフローチャートのステップＳ３１０〜ステップＳ３１４までの線状ノイズ補正に関するタイミングチャートである。
図１１において、ＶＤは垂直同期信号を示し、露光の期間では読み出しパルスが出た後に電子シャッターを出力して撮像素子１４内の蓄積した電荷をクリアして、本露光を開始する。その後、シャッター速度に応じてシャッター閉じのパルスを出力してシャッターを閉じることで、撮像素子１４への露光を終了させる。
【００６２】
その後、通常であれば第１フィールドの読み出しパルスを出力して、第１フィールドの電荷を読み出すところであるが、本実施形態では、まず線状ノイズを補正するためのダミー画像（ダミーフィールド）を読み出す。ダミー画像の読み出しでは、各画素１４ａの電荷を垂直転送レジスタ１４ｂに転送するパルスを出力せずに、垂直転送レジスタ１４ｂを駆動して撮像素子１４内で画素情報のない空転送したダミー画像を読み出す。線状ノイズは画素１４ａの電荷がなくても垂直転送レジスタ１４ｂを通過するだけで発生するため、ダミー画像を、線状ノイズを補正するための画像として用いることができる。
【００６３】
ダミー画像をメモリ３０に書き込んだ後、線状ノイズ量を検出し、垂直転送時間から補正値データを作成する。その後、第１フィールドの画素１４ａの電荷を垂直転送レジスタ１４ｂに転送するための読み出しパルスを出力して、第１フィールドの画像を読み出す。この読み出す際に、予めメモリ３０に記憶されている補正値データを読み出しながら、読み出された第１フィールドの画像との間で減算処理を行い、減算結果により取得した画像をメモリ３０の第１フィールドラインに書き込む。同様の処理を、第２フィールド〜第６フィールドまで行う。なお、システム制御回路５０は、補正値データにゲインをかけて減算処理する、すなわち補正係数を使用して撮像画像を減算処理することで、減算量を調整して過補正を防ぐことができる。
【００６４】
図１２は線状ノイズ補正を行う前後の画像の一例を示す図である。
図１２（ａ）は、線状ノイズ補正が行われる前の画像である。垂直転送レジスタ１４ｂ上に暗電流が生じているために、垂直転送時間（画面下部の方向）と共に線状ノイズの白すじが発生してしまう。
図１２（ｂ）は、線状ノイズ補正が行われる前の画像を各フィールド毎に分解した画像である。各フィールドの画像は各フィールド単位で読み出されるので、それぞれの画像の垂直方向のサイズは、最終的な画像の垂直方向のサイズに対して（１／フィールド数）のサイズになる。具体的には、本実施形態では６フィールドの読み出しを行なっているので、各フィールドでは６行（６ライン）おきの画像が読み出される。したがって、フィールド毎に分解された画像の垂直方向のサイズは、最終的な画像の垂直方向のサイズの１／６となる。
【００６５】
図１２（ｃ）は、ダミーフィールドを読み出した画像である。ダミーフィールドでは画素の読み出しパルスを出力していないため、画像としては黒画像になる。しかし画素情報はなくても、垂直転送レジスタ１４ｂ上を転送しているので、線状ノイズである白すじが発生する。この白すじの信号レベルは各フィールドの画像を読み出したときの白すじと同じレベルになる。したがって、ダミーフィールドで得られるダミー画像に基づいて補正値データを生成し、生成した補正値データを各フィールドの画像から減算することで線状ノイズ補正を行うことができる。なお、ダミーフィールドの垂直方向のサイズは、各フィールドの垂直方向のサイズよりも大きくする。これは線状ノイズ量が一定となる線状ノイズ検出領域を確保するためである。
図１２（ｄ）は、線状ノイズ補正を行った後の画像である。線状ノイズ補正を行った後の画像では、線状ノイズ補正が行われ白すじが除去されている。
【００６６】
このように、本実施形態によれば、画素１４ａの電荷を垂直転送レジスタ１４ｂに転送せずに垂直転送レジスタ１４ｂを駆動させることで取得されるダミー画像から線状ノイズ量を検出する。また、検出した線状ノズル量と垂直転送レジスタ１４ｂの垂直転送時間とに基づいて線状ノイズを補正する補正値データを生成する。生成される補正値データは、水平ラインの線状ノズル量に応じて、算出したい所定の垂直ラインにおける垂直転送時間に基づいて算出される。したがって、垂直方向に線状ノイズ量が異なっていたとしても、線状ノイズ量に応じた線状ノイズ補正を行うことでき、画質が劣化することなく線状ノイズを目立たなくすることができる。すなわち、生成された補正値データのうち補正値が０の部分は、撮像画像から減算処理が行なわれないので、画質が劣化することがない。
【００６７】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。
例えば、上述した実施形態では、撮像素子１４の画像信号を６フィールドに分けて読み出す場合について説明したが、これに限られず、６フィールド以外の任意の数のフィールドに分けて読み出す場合にも適用可能である。また、複数フィールドに分けずに、全画素を一括して読み出す場合にも適用可能である。
【００６８】
また、上述した実施形態では、算出した補正値と閾値とを比較して、算出した補正値が閾値以下であれば、補正値を０にして補正値データを生成する場合について説明したが、この場合に限られない。すなわち、補正値が閾値以下の場合、システム制御回路５０は減算処理時にその補正値を用いて減算処理しないようにすればよく、どのような方法を用いてもよい。
【００６９】
上述した本実施形態における画像処理装置を構成する各手段またはその制御方法の各ステップは、コンピュータとしてのシステム制御回路５０がメモリ５２等に記憶されたプログラムが動作することによって実現できる。このプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えばシステム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器からなるシステムに適用してもよい。
【００７０】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムをシステムまたは装置に直接、または遠隔から供給する。そして、このシステムまたは装置のコンピュータが供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【符号の説明】
【００７１】
１０：撮影レンズ  １２：シャッター  １４：撮像素子  １４ａ：画素  １４ｂ：垂直転送レジスタ  １４ｃ：水平転送レジスタ  １６：Ａ／Ｄ変換器  １８：タイミング発生回路  ２０：画像処理回路  ２２：メモリ制御回路  ２４：画像表示メモリ  ２６：Ｄ／Ａ変換器  ２８：画像表示部  ３０：メモリ  ３２：圧縮・伸長回路  ４０：露光制御部  ４２：測距制御部  ４４：ズーム制御部  ４６：バリア制御部  ４８：フラッシュ  ５０：システム制御回路  ５２：メモリ  ５４：表示部  ５６：不揮発性メモリ  ６０：モードダイアルスイッチ  ６２：シャッタースイッチＳＷ１  ６４：シャッタースイッチＳＷ２  ７０：操作部  １００：画像処理装置
【図１】
2013081037.tif 000004
【図２】
2013081037.tif 000005
【図３】
2013081037.tif 000006
【図４】
2013081037.tif 000007
【図５】
2013081037.tif 000008
【図６】
2013081037.tif 000009
【図７】
2013081037.tif 000010
【図８】
2013081037.tif 000011
【図９】
2013081037.tif 000012
【図１０】
2013081037.tif 000013
【図１１】
2013081037.tif 000014
【図１２】
2013081037.tif 000015