(57)【要約】【課題】画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、消費電力を抑えながら工程キズ及びリアルタイムキズを補正できるようにする。【解決手段】露光量の異なる複数枚の撮影画像を１枚の画像に合成するＨＤＲ処理を行うときに、これら複数枚の画像に対して、予め登録されている欠陥画素を補正する工程キズ補正を実施する。そして、工程キズ補正を実施した複数の画像を合成した後、合成画像に対して、前記予め登録されている欠陥画素以外の欠陥画素を検出し、該検出した欠陥画素を補正するリアルタイムキズ補正を実施する。【選択図】図１
2015080152.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を備える撮像素子で取得される、画像取得条件を異ならせて連続撮影した複数の画像を合成する合成手段と、
予め登録されている欠陥画素を補正する工程キズ補正手段と、
対象画素と周辺の画素の値を比較することで欠陥画素を検出し、該検出した欠陥画素を補正するリアルタイムキズ補正手段とを備え、
前記工程キズ補正手段による補正は、前記合成手段による合成前の前記画像に実施し、前記リアルタイムキズ補正手段による欠陥画素の検出及び補正は、前記合成手段による合成画像に実施することを特徴とする撮像装置。
【請求項２】
前記合成手段による合成前の前記画像のうち所定の条件を満たすものには、前記リアルタイムキズ補正手段による補正を実施することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定の条件は、オーバー露光画像のゲイン設定が閾値以上であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記合成手段による合成前の前記画像のうち所定の条件を満たすものには、前記工程キズ補正手段による補正を実施しないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記所定の条件は、露光時間が一定以上又は一定未満であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記合成手段による合成画像に、前記工程キズ補正手段による補正を実施することを特徴とする請求項４に記載の撮像装置。
【請求項７】
複数の画素を備える撮像素子で取得される、画像取得条件を異ならせて連続撮影した複数の画像を合成する機能を有する撮像装置の制御方法であって、
前記画像取得条件を異ならせて連続撮影した複数の画像に対して、予め登録されている欠陥画素を補正する工程キズ補正を実施する手順と、
前記工程キズ補正を実施した複数の画像を合成する手順と、
前記合成した合成画像に対して、対象画素と周辺の画素の値を比較することで欠陥画素を検出し、該検出した欠陥画素を補正するリアルタイムキズ補正を実施する手順とを有することを特徴とする撮像装置の制御方法。
【請求項８】
複数の画素を備える撮像素子で取得される、画像取得条件を異ならせて連続撮影した複数の画像を合成する合成手段と、
予め登録されている欠陥画素を補正する工程キズ補正手段と、
対象画素と周辺の画素の値を比較することで欠陥画素を検出し、該検出した欠陥画素を補正するリアルタイムキズ補正手段としてコンピュータを機能させ、
前記工程キズ補正手段による補正は、前記合成手段による合成前の前記画像に実施し、前記リアルタイムキズ補正手段による欠陥画素の検出及び補正は、前記合成手段による合成画像に実施することを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得条件を異ならせて連続撮影した複数の画像を合成する機能を有する撮像装置、その制御方法、プログラム及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭い。そのため、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりすることがあった。そこで、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成するHigh Dynamic Range Imaging処理（以下、ＨＤＲ処理と記す）が提案されている。
【０００３】
また、固体撮像素子では、製造過程において発生する欠陥画素が、画質の低下や製造上の歩留まりを下げる要因の一つとなっていることが知られている。欠陥画素を完全に無くすことは困難であることから、一般的に、欠陥画素の周囲画素を用いた補間処理を行って画質向上を図ることが知られている。
【０００４】
欠陥画素の補正技術として、例えば特許文献１に開示された方法が知られている。
まず、固体撮像素子の工場出荷時等に、所定の条件下において標準電荷蓄積時間、固体撮像素子を露光して得られる出力値を用いて欠陥画素を判定する。そして、その際に取得した欠陥画素の位置情報及び出力レベル等の欠陥画素情報を記憶しておき、撮像時には、この記憶した欠陥画素の位置情報及び出力レベル等の情報を基にして、欠陥画素に隣接する画素の出力レベルを用いて、欠陥画素の出力の補間処理を行う。以下、工場出荷時等に検出された欠陥画素を「工程キズ」と呼ぶ。
【０００５】
また、工場出荷時に検出されずに、撮像素子の経時劣化や撮像時の環境変化等の影響によって過渡的に発生する後発欠陥画素や、撮像素子から読み出したときに数回に一度画素が白くなってしまう瞬き欠陥画素も存在する。以下、工場出荷時に検出されなかった欠陥画素を「リアルタイムキズ」と呼ぶ。
【０００６】
ＨＤＲ処理を行う場合の欠陥画素の補正技術として、例えば特許文献２に開示された方法が知られている。
同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行なうキズ検出手段を備える。このキズ検出手段により検出された撮像素子のキズを１画素単位で精度よく補正することができるので、良好な映像信号が得られる。
また、別手段として、露光量の異なる複数枚の撮影画像全てに対して、リアルタイムキズの補正、さらに工程キズの補正を行い、画像合成を行うことで良好な映像信号を得ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−３３３４３５号公報（「従来の技術」の欄を参照のこと）
【特許文献２】特開２００２−２４７４４５号公報（「課題を解決するための手段」の欄を参照のこと）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２に記載されている技術では、標準露光映像信号でのキズ検出を行うことができないため、キズが補正されてない箇所が存在してしまう可能性がある。
また、リアルタイムキズの補正は、リアルタイムキズを検出してそれを補正するため、消費電力が大きい。そのため、露光量の異なる複数枚の撮影画像全てに対して、リアルタイムキズの補正、さらに工程キズの補正を行うのでは、無駄な消費電力を消費してしまう問題が発生する。
【０００９】
本発明は上記のような点に鑑みてなされたものであり、画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、消費電力を抑えながら工程キズ及びリアルタイムキズを補正できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、複数の画素を備える撮像素子で取得される、画像取得条件を異ならせて連続撮影した複数の画像を合成する合成手段と、予め登録されている欠陥画素を補正する工程キズ補正手段と、対象画素と周辺の画素の値を比較することで欠陥画素を検出し、該検出した欠陥画素を補正するリアルタイムキズ補正手段とを備え、前記工程キズ補正手段による補正は、前記合成手段による合成前の前記画像に実施し、前記リアルタイムキズ補正手段による欠陥画素の検出及び補正は、前記合成手段による合成画像に実施することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、合成画像に対してリアルタイムキズの補正を行うことにより、消費電力を抑えながら工程キズ及びリアルタイムキズを補正することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置の構成を示す図である。
【図２】第１の実施形態に係る撮像装置の主ルーチンを示すフローチャートである。
【図３】第１の実施形態に係る撮像装置の主ルーチンを示すフローチャートである。
【図４】第１の実施形態における測距・測光処理の詳細を示すフローチャートである。
【図５】第１の実施形態における撮影処理の詳細を示すフローチャートである。
【図６】第１の実施形態における記録処理の詳細を示すフローチャートである。
【図７】第１の実施形態における撮影処理の通常撮影の詳細を示すフローチャートである。
【図８】第１の実施形態における撮影処理のＨＤＲ撮影の詳細を示すフローチャートである。
【図９】ＨＤＲ撮影を説明するための図である。
【図１０】第１の実施形態における撮影処理の多重露光撮影の詳細を示すフローチャートである。
【図１１】第２の実施形態における撮影処理のＨＤＲ撮影の詳細を示すフローチャートである。
【図１２】第３の実施形態における撮影処理のＨＤＲ撮影の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置１００の構成を示す図である。
１０は撮影レンズである。１２は絞り機能を備える機械式シャッターである。１４は撮像素子であり、光学像を電気信号に変換する。１６はＡ／Ｄ変換器であり、撮像素子１４のアナログ信号出力をデジタル信号に変換する。
【００１４】
１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８により撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影等に使用可能である。
【００１５】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０により画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。さらに、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行われる。さらに、画像処理回路２０では、画像データの画像識別や前フレーム画像との変化量を検出する処理を行う。
【００１６】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
【００１７】
２８は例えばＴＦＴ ＬＣＤからなる画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。また、画像表示部２８にタッチパネルを用いた場合、タッチパネルを操作部としても使用することで、操作部７０の一部を省くことも可能である。
【００１８】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。
３１は例えばＦｌａｓｈＲＯＭからなる不揮発性メモリである。システム制御回路５０が実行するプログラムコードが不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内には、システム情報を記憶する領域やユーザ設定情報を記憶する領域が設けられており、様々な情報や設定を次回起動時に読み出して、復元することを実現している。
【００１９】
３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２０】
４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。４２は測距制御部であり、撮影レンズ１０のフォーカシングを制御する。４４はズーム制御部であり、撮影レンズ１０のズーミングを制御する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０はシステム制御回路であり、撮像装置１００全体を制御する。
【００２１】
６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
より詳細には、６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
６２はシャッタースイッチＳＷ１であり、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。
６４はシャッタースイッチＳＷ２であり、シャッターボタンの操作完了でＯＮとなり、読み出し処理、現像処理、記録処理という一連の処理の動作開始を指示する。フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。読み出し処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、次に記録媒体２００に画像データを書き込む。
６６は表示切替スイッチであり、画像表示部２８の表示切替を指示する。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
７０は操作部であり、各種ボタン、タッチパネルや回転式ダイアル等からなる。操作部７０としては、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、操作部７０としては、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。
７２はズームスイッチであり、撮像画像の倍率変更を指示する。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理等による撮像画角の電子的なズーミング変更のトリガともなる。
【００２２】
８６は電源であり、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる。
【００２３】
９０は記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
２００はメモリカードやハードディスク等の記録媒体であり、撮像装置１００に着脱可能となっている。記録媒体２００は、例えば半導体メモリや磁気ディスクで構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備える。
【００２４】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
１１０は通信部であり、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００２５】
図２、図３は、本実施形態に係る撮像装置１００の主ルーチンを示すフローチャートである。
電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。
次に、システム制御回路５０は、モードダイアルスイッチ６０の設定位置を判定する（ステップＳ１０３）。モードダイアルスイッチ６０が撮影モードに設定されていたならば、ステップＳ１０５に進む。この撮影モードには、オート撮影モードやＨＤＲ撮影モードが含まれる。モードダイアルスイッチ６０がその他のモードに設定されていたならば、選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならば、ステップＳ１０３に戻る。
【００２６】
システム制御回路５０は、電源８６の残容量や動作状態に問題があるか否かを判定する（ステップＳ１０５）。問題があるならば、画像や音声により所定の警告表示を行った後に（ステップＳ１０７）、ステップＳ１０３に戻る。
電源８６に問題が無いならば、記録媒体２００の動作状態に問題があるか否か、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判定する（ステップＳ１０６）。問題があるならば、画像や音声により所定の警告表示を行った後に（ステップＳ１０７）、ステップＳ１０３に戻る。
記録媒体２００の動作状態に問題が無いならば、画像や音声により撮像装置１００の各種設定状態の表示を行う（ステップＳ１０８）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により撮像装置１００の各種設定状態の表示を行う。
システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定する（ステップＳ１０９）。スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ３０に逐次書き込まれたデータを、画像表示部２８により逐次表示することにより、電子ファインダ機能を実現している。
【００２７】
次に、システム制御回路５０は、シャッタースイッチＳＷ１がＯＮであるか否かを判定する（ステップＳ１１０）。シャッタースイッチＳＷ１がＯＦＦであれば、ステップＳ１０３に戻る。シャッタースイッチＳＷ１がＯＮであれば、ステップＳ１１２の測距・測光処理に進む。
システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（ステップＳ１１２）。測光処理において、必要であればフラッシュの設定も行う。このステップＳ１１２の測距・測光処理の詳細は図４を用いて後述する。測距・測光処理を終えたならば、ステップＳ１１３に進む。
次に、システム制御回路５０は、シャッタースイッチＳＷ２がＯＮであるか否かを判定する（ステップＳ１１３）。シャッタースイッチＳＷ２がＯＦＦであり、さらにシャッタースイッチＳＷ１も解除されたならば（ステップＳ１１４）、ステップＳ１０３に戻る。シャッタースイッチＳＷ２がＯＮであれば、ステップＳ１１５の撮影処理に進む。このステップＳ１１５の撮影処理の詳細は図５を用いて後述する。
撮影処理の後、記録処理を実行する（ステップＳ１１６）。このステップＳ１１６の記録処理の詳細は図６を用いて後述する。
【００２８】
図４は、図３のステップＳ１１２の測距・測光処理の詳細を示すフローチャートである。
システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
システム制御回路５０は、画像処理回路２０での演算結果を用いて、露出が適正であるか否かを判定する（ステップＳ２０２）。露出が適正であると判定されるまで、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。また、システム制御回路５０は、ＡＥ制御で得られた測定データを用いて、フラッシュが必要か否かを判定する（ステップＳ２０４）。フラッシュが必要であれば、フラッシュフラグをセットし、フラッシュ４８を充電する（ステップＳ２０５）。露出が適正であると判定されたならば、測定データ及び或いは設定パラメータをメモリ３０に記憶する。
【００２９】
次に、システム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランスが適正であるか否かを判定する（ステップＳ２０６）。ホワイトバランスが適正であると判定されるまで、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（ステップＳ２０７）。ホワイトバランスが適正であると判定されたならば、測定データ及び或いは設定パラメータをメモリ３０に記憶する。
【００３０】
次に、システム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距が合焦であるか否かを判定する（ステップＳ２０８）。合焦であると判定されるまで、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２０９）。合焦であると判定されたならば、測定データ及び或いは設定パラメータをメモリ３０に記憶し、測距・測光処理ルーチンを終了する。
【００３１】
図５は、図３のステップＳ１１５の撮影処理の詳細を示すフローチャートである。
システム制御回路５０は、図２のステップＳ１０３において選択されている撮影モードが通常撮影であるか否かを判定する（ステップＳ３０１）。通常撮影が選択されている場合、通常撮影を行う（ステップＳ３０３）。このステップＳ３０３の通常撮影の詳細は図７を用いて後述する。
通常撮影が選択されていない場合、ＨＤＲ撮影モードであるか否かを判定する（ステップＳ３０２）。ＨＤＲ撮影が選択されている場合、ＨＤＲ撮影を行う（ステップＳ３０４）。このステップＳ３０４のＨＤＲ撮影の詳細は図８、図９を用いて後述する。
ＨＤＲ撮影が選択されていない場合、多重露光撮影を行う（ステップＳ３０５）。このステップＳ３０５の多重露光撮影の詳細は図７を用いて後述する。
その後、撮影処理ルーチンを終了する。
【００３２】
図６は、図３のステップＳ１１６の記録処理の詳細を示すフローチャートである。
システム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、圧縮・伸長回路３２により、設定したモードに応じた画像圧縮処理を行う（ステップＳ４０１）。そして、インタフェース９０、コネクタ９２を介して、メモリカードやコンパクトフラッシュ(登録商標）カード等の記録媒体２００に圧縮した画像データの書き込みを行う（ステップＳ４０２）。その後、記録処理ルーチンを終了する。
【００３３】
図７は、図５のステップＳ３０３の通常撮影の詳細を示すフローチャートである。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ５０１、Ｓ５０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ５０３）、シャッター１２を閉じる（ステップＳ５０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ５０５）。
次に、画像処理回路２０において、工程キズ補正、リアルタイムキズ補正を実施する（ステップＳ５０６）。工程キズ補正では、予め登録されている欠陥画素を補正する。工程キズは、工場出荷時に画素に対して付けられたキズ情報であり、メモリ３０にキズ情報として記録されている。工程キズはその周辺の画素信号値を用いて補正する。一方、リアルタイムキズ補正では、経年変化でキズとなった画素や宇宙線によってキズとなった、予め登録されている欠陥画素以外の欠陥画素も検出することを目的としており、該検出した欠陥画素を補正する。リアルタイムキズは、全ての画素に対して、対象画素と周辺画素との画素値を比較し、周辺画素との差分が大きい場合にはキズと判断し、その周辺の画素信号値で補正する。
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ５０７）。
次に、システム制御回路５０は、各駆動モードに応じて現像処理を実施し（ステップＳ５０８）、メモリ３０に処理を終えた画像データを書き込む。一連の処理を終えたならば、通常撮影ルーチンを終了する。
【００３４】
図８は、図５のステップＳ３０４のＨＤＲ撮影の詳細を示すフローチャートである。
本実施形態では、ＨＤＲ撮影に必要な枚数を３枚（アンダー露光画像、適正露光画像、オーバー露光画像）として扱う。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ６０１、Ｓ６０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ６０３）、シャッター１２を閉じる（ステップＳ６０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ６０５）。
【００３５】
次に、画像処理回路２０において、工程キズ補正を実施する（ステップＳ６０６）。
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ６０７）。
次に、システム制御回路５０は、ＨＤＲ撮影に必要な３枚撮影されたか否かを判定する（ステップＳ６０８）。３枚未満であれば、ステップＳ６０１に戻り、次の静止画撮影を行う。３枚撮影されていれば、ステップＳ６０９に進む。
システム制御回路５０は、撮影された３枚の画像に対してＨＤＲ合成の演算を行い、各画像の合成箇所を算出する（ステップＳ６０９）。
そして、現像処理を実施し、３枚の画像を合成して１枚のＨＤＲ合成画像を作成し、画像処理回路２０において、リアルタイムキズ補正を実施する（ステップＳ６１０）。その後、メモリ３０に画像を記録し、一連の処理を終えたならば、ＨＤＲ撮影ルーチンを終了する。
【００３６】
図９に示すように、ＨＤＲ撮影では、画像取得条件である露光量を異ならせて連続撮影したアンダー露光画像、適正露光画像、オーバー露光画像の３枚の画像を取得する。次に、取得した３枚の画像に対して、工程キズ補正を実施する次に、工程キズ補正された各画像に対して合成箇所を算出する。次に、現像処理において１枚の合成画像を作成し、この合成画像に対してリアルタイムキズ補正を実施する。
【００３７】
図１０は、図５のステップＳ３０５の多重露光撮影の詳細を示すフローチャートである。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ７０１、Ｓ７０２）。露光制御部４０は、多重露光に必要な撮影枚数ｎも算出する。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ７０３）、シャッター１２を閉じる（ステップＳ７０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ７０５）。
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ７０６）。このとき、前の画素値と加算しながら書き込む。
次に、システム制御回路５０は、露光制御部４０により設定された多重露光に必要な撮影枚数ｎに達したか否かを判定する（ステップＳ７０７）。撮影枚数ｎに達していなければ、ステップＳ７０１に戻り、次の静止画撮影を行う。撮影枚数ｎに達していれば、ステップＳ７０８に進む。
次に、工程キズ補正、リアルタイムキズ補正、現像処理を実施する（ステップＳ７０８）。一連の処理を終えたならば、多重露光撮影ルーチンを終了する。
【００３８】
以上のように、画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、合成画像に対してリアルタイムキズの補正を行うことにより、消費電力を抑えながら工程キズ及びリアルタイムキズを補正することができる。
【００３９】
（第２の実施形態）
第２の実施形態では、ＨＤＲ撮影の変形例を説明する。なお、撮像装置１００の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
図１１は、図５のステップＳ３０４のＨＤＲ撮影の詳細を示すフローチャートである。
本実施形態では、ＨＤＲ撮影に必要な枚数を３枚（アンダー露光画像、適正露光画像、オーバー露光画像）として扱う。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ８０１、Ｓ８０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ８０３）、シャッター１２を閉じる（ステップＳ８０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ８０５）。
【００４０】
次に、画像処理回路２０において、工程キズ補正を実施する（ステップＳ８０６）。
次に、システム制御回路５０は、取得した画像にリアルタイムキズ補正を行うか否かを判定する（ステップＳ８０７）。リアルタイムキズが発生しやすい条件、例えばオーバー露光画像のゲイン設定（撮像素子１４にかけられるゲイン値）が閾値以上である場合、合成前にリアルタイムキズ補正を実施すると判定する。撮像素子１４が同じ露光時間に設定されている場合に、ゲイン値を異なる値で設定すると、ゲイン値を大きく設定した場合の方が、撮像素子１４からの出力信号が大きくなる。
リアルタイムキズ補正が必要であれば、ステップＳ８０８に進み、画像処理回路２０において、リアルタイムキズ補正を実施する。リアルタイムキズ補正が不要であれば、ステップＳ８０９に進む。
【００４１】
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ８０９）。
次に、システム制御回路５０は、ＨＤＲ撮影に必要な３枚撮影されたか否かを判定する（ステップＳ８１０）。３枚未満であれば、ステップＳ８０１に戻り、次の静止画撮影を行う。３枚撮影されていれば、ステップＳ８１１に進む。
システム制御回路５０は、撮影された３枚の画像に対してＨＤＲ合成の演算を行い、各画像の合成箇所を算出する（ステップＳ８１１）。
そして、現像処理を実施し、３枚の画像を合成して１枚のＨＤＲ合成画像を作成し、画像処理回路２０において、リアルタイムキズ補正を実施する（ステップＳ８１２）。その後、メモリ３０に画像を記録し、一連の処理を終えたならば、ＨＤＲ撮影ルーチンを終了する。
【００４２】
以上のように、第２の実施形態では、合成前の画像のうち、リアルタイムキズが発生している可能性が高いものについては、合成前にリアルタイムキズの補正を行うことにより、その後の合成箇所の算出への影響を少なくすることができる。
【００４３】
（第３の実施形態）
第３の実施形態では、ＨＤＲ撮影の変形例を説明する。なお、撮像装置１００の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
図１２は、図５のステップＳ３０４のＨＤＲ撮影の詳細を示すフローチャートである。
本実施形態では、ＨＤＲ撮影に必要な枚数を３枚（アンダー露光画像、適正露光画像、オーバー露光画像）として扱う。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ９０１、Ｓ９０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ９０３）、シャッター１２を閉じる（ステップＳ９０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ９０５）。
【００４４】
次に、システム制御回路５０は、取得した画像に工程キズ補正を行うか否かを判定する（ステップＳ９０６）。合成箇所を算出する画像であれば、合成前に工程キズ補正を実施すると判定する。例えば露光時間が一定以上又は一定未満の場合、合成箇所の算出には不要であると判断する。
工程キズ補正が必要であれば、ステップＳ９０７に進み、画像処理回路２０において、工程キズ補正を実施する。工程キズ補正が不要であれば、ステップＳ９０８に進む。
次に、システム制御回路５０は、取得した画像にリアルタイムキズ補正を行うか否かを判定する（ステップＳ９０８）。リアルタイムキズが発生しやすい条件、例えばオーバー露光画像のゲイン設定（撮像素子１４にかけられるゲイン値）が閾値以上である場合、合成前にリアルタイムキズ補正を実施すると判定する。撮像素子１４が同じ露光時間に設定されている場合に、ゲイン値を異なる値で設定すると、ゲイン値を大きく設定した場合の方が、撮像素子１４からの出力信号が大きくなる。
リアルタイムキズ補正が必要であれば、ステップＳ９０８に進み、画像処理回路２０において、リアルタイムキズ補正を実施する。リアルタイムキズ補正が不要であれば、ステップＳ９１０に進む。
【００４５】
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ９１０）。
次に、システム制御回路５０は、ＨＤＲ撮影に必要な３枚撮影されたか否かを判定する（ステップＳ９１１）。３枚未満であれば、ステップＳ９０１に戻り、次の静止画撮影を行う。３枚撮影されていれば、ステップＳ９１２に進む。
システム制御回路５０は、撮影された３枚の画像に対してＨＤＲ合成の演算を行い、各画像の合成箇所を算出する（ステップＳ９１２）。
そして、現像処理を実施し、３枚の画像を合成して１枚のＨＤＲ合成画像を作成し、画像処理回路２０において、工程キズ補正及びリアルタイムキズ補正を実施する（ステップＳ９１３）。その後、メモリ３０に画像を記録し、一連の処理を終えたならば、ＨＤＲ撮影ルーチンを終了する。
【００４６】
以上のように、第３の実施形態では、合成前の画像について工程キズ補正を実施するか否かを判定するようにしたので、工程キズ補正の回数を減らすことができる。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１４：撮像素子、２０：画像処理回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、５０：システム制御回路、６０：モードダイアルスイッチ、１００：撮像装置
【図１】
2015080152.tif 000003
【図２】
2015080152.tif 000004
【図３】
2015080152.tif 000005
【図４】
2015080152.tif 000006
【図５】
2015080152.tif 000007
【図６】
2015080152.tif 000008
【図７】
2015080152.tif 000009
【図８】
2015080152.tif 000010
【図９】
2015080152.tif 000011
【図１０】
2015080152.tif 000012
【図１１】
2015080152.tif 000013
【図１２】
2015080152.tif 000014