(57)【要約】【課題】メモリ容量の増加を防止して、精度よく水平シェーディング補正を行う。【解決手段】画像処理・補正回路１９はシステム制御回路５０の制御下で撮像素子１４を遮光して撮像素子から読み出された画像データを補正データとし、動画のフレーム毎に画素の一部を遮光した更新領域を設定し更新領域から画像データを補正用画像データとして読み出す。画像処理・補正回路は動画の最初のフレームについて補正データを補正用画像データで補正して更新済補正データを得る。最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新済補正データを現フレームにおける補正用画像データで補正して現フレームにおける更新済補正データとして、フレームの各々について当該フレームの更新済補正データでフレームにおける画像データを補正する。【選択図】図１
2013191921.tif 000002
【特許請求の範囲】
【請求項１】
二次元マトリックス状に配列された複数の画素を有する撮像素子と、
動画の撮影を行う際に、前記撮像素子を遮光して前記撮像素子から補正データを読み出す第１の補正データ取得手段と、
前記動画のフレーム毎に前記画素の一部を遮光した遮光領域から更新用データを読み出す読み出し手段と、
前記動画の最初のフレームについて前記補正データを前記更新用データで更新して更新補正データを得るとともに、前記最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新補正データを前記現フレームにおける更新用データで更新して前記現フレームにおける更新補正データとする第２の補正データ取得手段と、
前記フレームの各々について当該フレームの更新補正データで前記フレームにおける画像データを補正する補正手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記動画の撮影を行う際の撮影条件を設定する撮影条件設定手段を備え、
前記第２の補正データ取得手段は、前記動画の撮影中に前記撮影条件設定手段によって前記撮影条件が変更されると、前記撮影条件の変更後のフレームから前記更新用データの重み付けを変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影条件設定手段は感度を設定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮影条件設定手段は前記撮像素子における画素の読み出しモードを切り替えることを特徴する請求項２に記載の撮像装置。
【請求項５】
前記現フレームにおける更新補正データと前記現フレームの前のフレームにおける更新補正データとの差が所定の閾値を超えると、前記第２の補正データ取得手段は前記現フレームにおける前記更新用データの重み付けを変更することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第２の補正データ取得手段は、前記更新用データの重み付けを大きくし、前記更新用データの重み付けを大きくしたフレームの後に続くフレームから重み付けを逓減することを特徴とする請求項２又は５に記載の撮像装置。
【請求項７】
二次元マトリックス状に配列された複数の画素を有する撮像素子を備えた撮像装置の制御方法であって、
動画の撮影を行う際に、前記撮像素子を遮光して前記撮像素子から補正データを読み出す第１の補正データ取得ステップと、
前記動画のフレーム毎に前記画素の一部を遮光した遮光領域から更新用データを読み出す読み出しステップと、
前記動画の最初のフレームについて前記補正データを前記更新用データで更新して更新補正データを得るとともに、前記最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新補正データを前記現フレームにおける更新用データで更新して前記現フレームにおける更新補正データとする第２の補正データ取得ステップと、
前記フレームの各々について当該フレームの更新補正データで前記フレームにおける画像データを補正する補正ステップとを有することを特徴とする制御方法。
【請求項８】
二次元マトリックス状に配列された複数の画素を有する撮像素子を有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
動画の撮影を行う際に、前記撮像素子を遮光して前記撮像素子から補正データを読み出す第１の補正データ取得ステップと、
前記動画のフレーム毎に前記画素の一部を遮光した遮光領域から更新用データを読み出す読み出しステップと、
前記動画の最初のフレームについて前記補正データを前記更新用データで更新して更新補正データを得るとともに、前記最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新補正データを前記現フレームにおける更新用データで更新して前記現フレームにおける更新補正データとする第２の補正データ取得ステップと、
前記フレームの各々について当該フレームの更新補正データで前記フレームにおける画像データを補正する補正ステップとを実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画又は動画の撮影、記録、および再生を行う撮像装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置では、固体メモリ素子を備えるメモリカードを記録媒体として用いている。そして、撮像装置では、ＣＣＤ又はＣＭＯＳなどの固体撮像素子で撮像した静止画又は動画を画像データとして記録媒体に記録し、当該記録媒体に記録した画像データを再生するようにしている。このような撮像装置においては、ＣＣＤ又はＣＭＯＳなどの固体撮像素子を用いて撮像する関係上、画像の品質を高く維持するため、所謂固定パターンノイズを検出して補正する必要がある。
【０００３】
固定パターンノイズの補正に当たって、動画の撮影の際には、まず撮影の開始前に固体撮像素子を露光しない状態で電荷蓄積を行う。そして、当該電荷を読み出した結果得られるダーク画像データから個体撮像素子の各列における水平固定パターン補正データ（以下、水平シェーディング補正データという）を生成する。
【０００４】
続いて、撮影の開始後、各列の補正データ画素を露光した状態で電荷蓄積を行った際に、各列の非露光部分のデータ（ダークデータ）に応じて水平シェーディング補正データを更新する。この更新によって温度変化などに起因して変化するダーク水平固定パターンノイズ（以下、水平ダークシェーディングという）に対応している。
【０００５】
ところで、動画の撮影中にＩＳＯ感度などの撮影条件が変化すると、ダーク水平ダークシェーディングが急激に変化する。その撮影条件を変更する際には、撮像装置を工場調整する際などに予め記憶した撮影条件毎の水平シェーディング補正データを用いる。また、別の手法として、所定の基本撮影条件における最新の水平シェーディング補正データと撮影条件毎のダークデータに応じて水平シェーディング補正を行うようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１０９１６２号号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、撮影条件のみではなく、撮像装置が使用される様々な環境における水平シェーディング補正に対処するためには、単に工場調整する際などに予め記憶した撮影条件毎の水平シェーディング補正データを用いると、精度よく水平シェーディング補正を行うことが難しい。
【０００８】
さらに、撮影条件毎に水平シェーディング補正データを記憶するとなると、不可避的にメモリの記憶容量を増加させなければならず、コストアップの要因となる。
【０００９】
従って、本発明の目的は、メモリ容量の増加を防止して、精度よく水平シェーディング補正を行うことのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による撮像装置は、二次元マトリックス状に配列された複数の画素を有する撮像素子と、動画の撮影を行う際に、前記撮像素子を遮光して前記撮像素子から補正データを読み出す第１の補正データ取得手段と、前記動画のフレーム毎に前記画素の一部を遮光した遮光領域から更新用データを読み出す読み出し手段と、前記動画の最初のフレームについて前記補正データを前記更新用データで更新して更新補正データを得るとともに、前記最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新補正データを前記現フレームにおける更新用データで更新して前記現フレームにおける更新補正データとする第２の補正データ取得手段と、前記フレームの各々について当該フレームの更新補正データで前記フレームにおける画像データを補正する補正手段とを備えたことを特徴とする。
【００１１】
本発明による制御方法は、二次元マトリックス状に配列された複数の画素を有する撮像素子を備えた撮像装置の制御方法であって、動画の撮影を行う際に、前記撮像素子を遮光して前記撮像素子から補正データを読み出す第１の補正データ取得ステップと、前記動画のフレーム毎に前記画素の一部を遮光した遮光領域から更新用データを読み出す読み出しステップと、前記動画の最初のフレームについて前記補正データを前記更新用データで更新して更新補正データを得るとともに、前記最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新補正データを前記現フレームにおける更新用データで更新して前記現フレームにおける更新補正データとする第２の補正データ取得ステップと、前記フレームの各々について当該フレームの更新補正データで前記フレームにおける画像データを補正する補正ステップとを有することを特徴とする。
【００１２】
本発明による制御プログラムは、二次元マトリックス状に配列された複数の画素を有する撮像素子を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、動画の撮影を行う際に、前記撮像素子を遮光して前記撮像素子から補正データを読み出す第１の補正データ取得ステップと、前記動画のフレーム毎に前記画素の一部を遮光した遮光領域から更新用データを読み出す読み出しステップと、前記動画の最初のフレームについて前記補正データを前記更新用データで更新して更新補正データを得るとともに、前記最初のフレームを除くフレームの各々について現フレームの前のフレームにおける更新補正データを前記現フレームにおける更新用データで更新して前記現フレームにおける更新補正データとする第２の補正データ取得ステップと、前記フレームの各々について当該フレームの更新補正データで前記フレームにおける画像データを補正する補正ステップとを実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、メモリ容量の増加を防止して、しかも精度よく水平シェーディング補正を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態による撮像装置の一例である電子カメラの構成を示すブロック図である。
【図２】図１に示す電子カメラにおける水平ダークシェーディングの混入を説明するための図であり、（ａ）は撮像素子における画素配列を示す図、（ｂ）は列位置と出力レベルとの関係を示す図である。
【図３】図１に示す撮像装置において動画撮影の際における水平シェーディング補正の補正領域を説明するための図である。
【図４】図１に示す撮像装置において動画撮影の際の水平シェーディング補正処理を説明するためのフローチャートである。
【図５】図４に示す水平シェーディング補正処理における水平ダークシェーディングと水平シェーディング補正データとの関係を示す図である。
【図６】図１に示す画像処理・補正回路の構成の一例を示すブロック図である。
【図７】図１に示す撮像装置において動画撮影中にＩＳＯ変更スイッチによってＩＳＯ感度が変更された際の動画フレームを示す図である。
【図８】図７に示す動画フレームにおける水平ダークシェーディング、水平シェーディング補正値、およびその差を示す図である。
【図９】図７に示す動画フレームにおいてＩＳＯ感度変更の際に更新係数を変えた場合の水平ダークシェーディング、水平シェーディング補正値、およびその差を示す図である。
【図１０】図９の場合における水平シェーディング補正処理を説明するためのフローチャートである。
【図１１】本発明の第２の実施形態による撮像装置において動画撮影中にＩＳＯ変更スイッチによってＩＳＯ感度が変更された際の動画フレームを示す図である。
【図１２】本発明の第２の実施形態による撮像装置の撮影処理を説明するためのフローチャートである。
【図１３】本発明の第２の実施形態による撮像装置において、動画撮影中に静止画の撮影要求があった場合の補正値更新領域の変更処理を説明するための図であり、（ａ）は静止画用の遮光画素データ（補正値取得用データ）を取得した後静止画データに補正値更新領域を設定した状態を示す図、（ｂ）は静止画用の遮光画素データ（補正値取得用データ）を取得した後動画フレームに補正値更新領域を設定した状態を示す図である。
【図１４】本発明の第３の実施形態による撮像装置における読み出しモードの変更を説明するための図であり、（ａ）は全面表示の読み出しモードを示す図、（ｂ）は表示を拡大した読み出しモードを示す図である。
【図１５】本発明の第３の実施形態による撮像装置の撮影処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態による撮像装置について図面を参照して説明する。
【００１６】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例である電子カメラの構成を示すブロック図である。
【００１７】
図１において、撮像装置は画像処理装置１００を有している。そして、この画像処理装置１００にはレンズユニット３００が接続されている。レンズユニット３００は撮影レンズ３１０を備えており、撮影レンズ３１０に入射した光線は、絞り３１２、レンズマウント３０６および１０６、ミラー１３０、およびシャッタ１２を通って撮像素子１４に光学像として結像する。
【００１８】
シャッタ１２には撮像素子１４の露光量を制御する絞り機能が備えられている。撮像素子（例えば、ＣＣＤ又はＣＭＯＳセンサ）１４は二次元マトリックス状に配列された複数の画素を備え、光学像を電気信号（アナログ信号）に変換する。なお、動画撮影の際には、ミラー１３０をレンズ３００と撮像素子１２との間の光路に干渉しないように移動して、撮像素子１４から連続してアナログ信号を読み取る。
【００１９】
撮像素子１４からの出力であるアナログ信号はＡ／Ｄ変換器１６に与えられる。Ａ／Ｄ変換器１６はアナログ信号をデジタル信号に変換する。撮像素子１４、Ａ／Ｄ変換器１６、および後述のＤ／Ａ変換器２６にはタイミング発生回路（ＴＧ）１８からクロック信号および制御信号が供給される。信号線は示されていないが、ＴＧ１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。
【００２０】
画像処理・補正回路１９は、補正データ取得・補正回路１９２および補正更新回路１９４を有している。そして、画像処理・補正回路１９は、Ａ／Ｄ変換器１６から出力されるデジタル信号又はメモリ制御回路２２から送られる画像データに対して所定の補正処理、画素補間処理、および色変換処理などを行う。
【００２１】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、ＴＧ１８、画像処理・補正回路１９、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデジタル信号は、システム制御回路５０の制御下で画像処理・補正回路１９およびメモリ制御回路２２を介して、又は直接メモリ制御回路２２を介して画像表示メモリ２４又はメモリ３０に画像データとして書き込まれる。
【００２２】
画像表示部２８は、例えば、ＴＦＴ方式のＬＣＤであり、画像表示メモリ２４に書き込まれた表示用画像データは、Ｄ／Ａ変換器２６を介して画像として画像表示部２８に表示される。また、動画撮影の際に撮影中の画像をリアルタイムで画像表示部２８に表示することができる。さらに、図示の撮像装置は、動画撮影中でなくても、ミラー１３０を動画撮影の際と同様に移動して、撮像素子１４に入力する光学像を画像表示部２８で確認する所謂ライブビューモードを備えている。
【００２３】
システム制御回路５０は撮像装置全体の制御を司る。図示はしないが、システム制御回路５０にはＣＰＵなどが内蔵されている。モードダイアルスイッチ（ＭＤＳＷ）６０は、例えば、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、および絞り優先撮影モードなどの機能撮影モードを切り替える際に用いられる。
【００２４】
シャッタースイッチ（ＳＷ２）６４は、シャッターボタン（図示せず）の操作完了で音となる。このシャッタースイッチ（ＳＷ２）６４のオンによって、システム制御回路５０は、撮像素子１４から読み出したアナログ信号をＡ／Ｄ変換器１６、画像処理・補正回路１９、およびメモリ制御回路２２を介してメモリ３０に画像データとして書き込む露光処理を指示する。
【００２５】
次に、システム制御回路５０は、画像処理・補正回路１９およびメモリ制御回路２２における演算結果を用いた現像処理を行う。そして、システム制御回路５０はメモリ３０から画像データを読み出して、圧縮・伸長回路３２における圧縮処理を行った後、記録媒体２００に画像データを書き込む記録処理を行う。
【００２６】
動画記録・ストップスイッチ（ＳＳＷ）６７の操作によって、記録開始が指示されると、システム制御回路５０は連続して上記の一連の動作を行って、記録媒体２００に画像データを動画ファイルとして記録する。
【００２７】
ＩＳＯ感度設定スイッチ（ＩＳＯ・ＳＷ）６８を用いて、撮像素子１４又は画像処理・補正回路１９におけるゲインの設定変更を行うことによってシステム制御回路５０にＩＳＯ感度が設定される。
【００２８】
読み出しモード切り替えスイッチ（ＴＳＷ）６９は、ライブビュー・動画撮影の全画面・拡大スイッチであり、読み出しモード切り替えスイッチ６９によって読み出しの画角を変更することができる。
【００２９】
電源スイッチ７０は画像処理装置１００の電源オンおよび電源オフを切り替え設定する。また、電源スイッチ７０によって、画像処理装置１００に接続されたレンズユニット３００、外部ストロボ（図示せず）、および記録媒体２００などの各種付属装置の電源オンおよび電源オフの設定も行うことができる。
【００３０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などから構成されている。さらに、電源制御部８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。そして、電源制御部８０は当該検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間記録媒体を含む各部に供給する。
【００３１】
図示のように、電源制御部８０はコネクタ８２および８４によって電源部８６に接続されている。電源部８６は、例えば、アルカリ電池又はリチウム電池などの一次電池、Ｌｉ電池などの二次電池、そして、ＡＣアダプタなどを有している。
【００３２】
画像処理装置１００には記録媒体２００とのインターフェース（Ｉ／Ｆ）９０が備えられている。記録媒体２００は、例えば、メモリカード又はハードディスクであり、記録媒体２００には、半導体メモリ又は磁気ディスクなどの記録部２０２が備えられている。そして、インターフェース９０はコネクタ９２および２０６によって記録部２０２に接続される。
【００３３】
光学ファインダ１０４には、撮影レンズ３１０に入射した光が、一眼レフ方式によって、絞り３１２、レンズマウント３０６および１０６、ミラー１３０および１３２を介して導かれる。そして、光学ファインダ１４０は光が光学像として結像させて表示する。
【００３４】
さらに、画像処理装置１００はインターフェース（Ｉ／Ｆ）１２０を備えており、インターフェース１２０はコネクタ１２２および３２２によってシステム制御回路５０をレンズユニット３００（つまり、レンズ制御部３２０）と接続する。コネクタ１２２および３２２は画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、およびデータ信号などの送受を行い、さらに、電流を供給する機能を備えている。
【００３５】
続いて、図１に示す電子カメラの動作について説明する。
【００３６】
図２は、図１に示す電子カメラにおける水平ダークシェーディングの混入を説明するための図である。そして、図２（ａ）は撮像素子における画素配列を示す図であり、図２（ｂ）は列位置と出力レベルとの関係を示す図である。
【００３７】
図２（ａ）において、撮像素子１４は２次元マトリックス状に配列された複数の画素１２００を有している。画素１２００の各々は水平ライン毎に一度共通読み出し回路１２０１によって読み出し処理が行われる。その後、画素１２００の各々についてその画素信号が順次共通読み出し回路１２０１から出力される。
【００３８】
ところが、例えば、図２（ａ）に示すＡ列およびＢ列においては読み出し経路（つまり、読み出し経路長）に差が存在する関係上、撮像素子１４を遮光して読み出し処理を行うと、列毎にそのレベルが異なり、レベル差が生じる（図２（ｂ）参照）。
【００３９】
図３は、図１に示す撮像装置において動画撮影の際における水平シェーディング補正の補正領域を説明するための図である。また、図４は、図１に示す撮像装置において動画撮影の際の水平シェーディング補正処理を説明するためのフローチャートである。なお、図４に示すフローチャートにおける処理は、システム制御回路５０および画像処理・補正回路１９によって行われる。
【００４０】
図３および図４を参照して、動画撮影が開始されると動画撮影前に、画像処理・補正回路１９はシステム制御回路５０の制御下で撮像素子１４を遮光した状態で各列について読み出しを行って、画素データ（この画素データを遮光画素データと呼ぶ）を得る。ここでは、図３に示すように、撮像素子１４の全領域（つまり、全画素）が補正値（補正データ）取得用領域とされる。
【００４１】
続いて、画像処理・補正回路１９は各列の遮光画像データを加算・平均処理して水平ダークシェーディングを算出する。そして、画像処理・補正回路１９は当該水平ダークシェーディングを補正データとして内蔵メモリに記憶する（ステップＳ１０１）。なお、画像処理・補正回路１９は補正データをメモリ３０に保存するようにしてもよい。
【００４２】
続いて、画像処理・補正回路１９はシステム制御回路５０の制御下で画素の一部（例えば、行方向に複数行配列され常時遮光された遮光画素）について補正値更新領域として設定する。そして、画像処理・補正回路１９は動画撮影によって得られる動画フレームを読み出す前にその都度、補正値更新領域（水平シェーディング補正更新領域ともいう）について読み出し処理を行って、画素データ（この画素データを更新用データという）を得る。
【００４３】
画像処理・補正回路１９は更新用データを用いて補正データの更新処理を行って、更新後（更新済）の補正データを得る（ステップＳ１０２）。そして、画像処理・補正回路１９は更新後の補正データを内蔵メモリに前の補正データの代わりに保存して内蔵メモリを更新する。
【００４４】
なお、図３に示す例では、補正値更新領域を撮像素子１４において上側の行に設定するようにしたが、補正値更新領域を撮像素子１４の下側の行に設定するようにしてもよい。
【００４５】
続いて、画像処理・補正回路１９はシステム制御回路５０の制御下で、内蔵メモリに保存された更新後の補正データで、動画有効領域から得られた有効画素データを補正する。ここでは、画像処理・補正回路１９は有効画素データから更新後の補正データを減算する補正処理を行って、補正済み画像データとしてメモリ制御回路２２に送る（ステップＳ１０３：動画データ読み出し）。
【００４６】
上述のように、動画フレーム毎に有効画素データが読み出されると、システム制御回路５０は動画撮影が終了したか否かを確認する（ステップＳ１０４）。動画撮影が終了していないと（ステップＳ１０４において、ＮＯ）、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。一方、動画撮影が終了すると（ステップＳ１０４において、ＹＥＳ）、システム制御回路５０は動画撮影を終了する。
【００４７】
上述したように、ここでは、動画撮影開始前に撮像素子１４の全画素を補正値取得用領域として遮光画素データを得て、これら遮光画素データに基づいて補正データを得る。そして、動画撮影を開始すると、フレーム毎に補正値更新領域から得られる更新用データに応じて補正データを更新して更新補正データとして、有効画素データを補正する。
【００４８】
つまり、図３に示す（ｍ＋１）フレーム目（現フレーム）については、ｍフレーム目で得られた更新補正データ（第ｍの更新補正データ）を、（ｍ＋１）フレーム目の補正値更新領域で得られた更新用データで補正して、第（ｍ＋１）の補正データを得る（ｍは１以上の整数）。そして、（ｍ＋１）フレーム目の有効画素データを第（ｍ＋１）の補正データで補正する。
【００４９】
また、更新後の補正データによって内蔵メモリは更新されることになり、内蔵メモリには常に最新の更新後の補正データが保存されていることになる。
【００５０】
なお、上述の例では、動画撮影の際に、補正データを取得する場合について説明したが、ライブビューモードで得られる画像について同様にしてシェーディング補正データを取得するようにしてもよい。
【００５１】
図５は、図４に示す水平シェーディング補正処理における水平ダークシェーディングと水平シェーディング補正データとの関係を示す図である。
【００５２】
図３に関連して説明したように、動画撮影前に補正データ（シェーディング補正値）が取得される。動画撮影前の補正値取得時に取得する補正データは、図５においてシェーディング補正値として示され、その際のダークシェーディングがダークレベルと列との関係で示されている。
【００５３】
そして、ｍフレーム目と（ｍ＋１）フレーム目とに関して、図３で説明したようにしてシェーディング補正が行われる。図５において、ｍフレーム目におけるシェーディングレベルを破線で示し、（ｍ＋１）フレーム目におけるシェーディングレベルを実線で示すと、（ｍ＋１）フレーム目においては水平ダークシェーディングが変化すると、更新処理によって補正データ（更新後の補正データ）がフレーム毎に水平ダークシェーディングの変化に追従していることが分かる。
【００５４】
図６は、図１に示す画像処理・補正回路１９の構成の一例を示すブロック図である。
【００５５】
画像処理・補正回路１９は補正データ取得・補正回路１９２および補正更新回路１９４を有している。そして、補正更新回路１９４は補正値算出回路１９５、メモリ１９６、カウンタ回路１９９を備えている。
【００５６】
カウンタ回路１９９には、動画のフレーム毎にそのフレームの開始を示すタイミング信号が与えられる。カウンタ回路１９９はタイミング信号を受けるとリセット（初期化）されてカウントを開始する。
【００５７】
ここでは、撮像素子１４の各画素には所定の番号が付されており、カウンタ回路１９９のカウント値はフレームにおける画素番号を表している。カウンタ回路１９９はカウント値が予め設定された補正値更新領域の最初の画素番号となると、イネーブル信号を補正値算出回路１９５に送る。
【００５８】
補正値算出回路１９５は前述の更新用データに基づいてメモリ１９６に保存された補正データを算出（更新）してメモリ１９６に保存する。つまり、補正値算出回路１９５で更新された補正データはメモリ１９６に列毎に書き込まれる。このようにして、補正値算出回路１９５は列毎に有効画素について同様の処理を行う。なお、補正値更新領域が複数行に亘っていると、補正値算出回路１９５は複数の行毎に補正データの更新処理を行う。
【００５９】
例えば、いま、撮像素子１４のＡ列についてメモリ１９６に補正データＸ（Ａ）が格納されているとする。そして、Ａ列の補正値更新領域に関して一部遮光画素データ（更新用データ）Ｙ（Ａ）が補正値算出回路１９５に与えられたとする。
【００６０】
補正値算出回路１９５は次の式（１）に基づいてＡ列における補正データ（水平シェーディング補正値）Ｚを算出する。
【００６１】
Ｚ（Ａ）  ＝Ｘ（Ａ）−α（Ｙ（Ａ）−ＢＫ）      （１）
ここで、ＢＫは画像処理装置１００において定義されていた黒レベルとし、αは更新の割合を定める係数（更新係数）である。この更新係数は撮像素子１４の特性および周辺環境によって決定される。なお、補正値算出回路１９５は得られた補正データを必要に応じて有効桁数以上のみを使用するようにしてもよい。さらに、補正データには上限値又は下限値を設けるようにしてもよい。
【００６２】
補正データ取得・補正回路１９２は有効画素データをＡ／Ｄ変換器１６から取得して、当該有効画素データをメモリ１９６に保存された補正データで補正して水平シェーディング補正を行う。そして、補正データ取得・補正回路１９２は補正後の画像データを出力する。
【００６３】
図７は、図１に示す撮像装置において動画撮影中にＩＳＯ変更スイッチ６８によってＩＳＯ感度が変更された際の動画フレームを示す図である。
【００６４】
図７に示す例では、ＩＳＯ感度１００で動画撮影を開始して、（ｎ−１）フレーム目からｎフレーム目においてＩＳＯ感度１００からＩＳＯ感度２００にＩＳＯ感度を変更している。
【００６５】
図８は、図７に示す動画フレームにおける水平ダークシェーディング、水平シェーディング補正値、およびその差を示す図である。
【００６６】
図７および図８を参照して、いま、（ｎ−２）フレーム目と（ｎ−１）フレーム目とに関して（ｎは２以上の整数）、図３で説明したようにしてシェーディング補正が行われる。（ｎ−２）フレーム目におけるシェーディングレベルを破線で示し、（ｎ−１）フレーム目におけるシェーディングレベルを実線で示すと、（ｎ−１）フレーム目においては水平ダークシェーディングが変化すると、更新処理によって補正データ（更新後の補正データ）がフレーム毎に水平ダークシェーディングの変化に追従していることが分かる。そして、ダークシェーディングとシェーディング補正値（補正データ）との差（絶対値）はゼロである。
【００６７】
一方、（ｎ−１）フレーム目からｎフレーム目でＩＳＯ感度がＩＳＯ感度１００からＩＳＯ感度２００に変化すると、水平ダークシェーディングが大きく変化する。ここでは、（ｎ−１）フレーム目におけるシェーディングレベルが破線で示され、ｎフレーム目におけるシェーディングレベルが実線で示されている。
【００６８】
そして、ＩＳＯ感度変更前の更新係数を用いると、水平シェーディング補正値の変化が水平ダークシェーディングの変化に比べて小さい。この結果、ｎフレーム目において、ダークシェーディングとシェーディング補正値（補正データ）との間に差（絶対値）ができてしまう。
【００６９】
この差（絶対値）は、（ｎ＋１）フレーム目において、水平ダークシェーディングが低下するが、水平シェーディング補正値が完全に追従できず、ダークシェーディングとシェーディング補正値（補正データ）との差（絶対値）との間に差ができる。ここでは、ｎフレーム目におけるシェーディングレベルが破線で示され、（ｎ＋１）フレーム目におけるシェーディングレベルが実線で示されている。
【００７０】
このように、動画撮影の途中でＩＳＯ感度が変更されると、変更直後のフレーム（ここでは、ｎフレーム）から水平ダークシェーディングを良好に補正することができなくなってしまう。
【００７１】
図９は、図７に示す動画フレームにおいてＩＳＯ感度変更の際に更新係数を変えた場合の水平ダークシェーディング、水平シェーディング補正値、およびその差を示す図である。また、図１０は、図９の場合における水平シェーディング補正処理を説明するためのフローチャートである。なお、図１０に示すフローチャートにおいて、図４に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００７２】
図４で説明したように、ステップＳ１０３で動画データ読み出しが行われると、ステップＳ１０４において、システム制御回路５０は動画撮影が終了したか否かを確認する。この際、動画撮影が終了していない場合には、システム制御回路５０はＩＳＯ感度が変更されたか否かを確認する（ステップＳ２０５）。つまり、システム制御回路５０は次のフレームの際にユーザによってＩＳＯ感度が変更されたか否かを判定することになる。
【００７３】
ＩＳＯ感度が変更されていると（ステップＳ２０５において、ＹＥＳ）、システム制御回路５０は更新係数を大きくする（ステップＳ２０７）。ここでは、ＩＳＯ感度の変化量に応じて更新係数の変化量が決定される。そして、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。
【００７４】
ＩＳＯ感度が変更されていないと（ステップＳ２０５において、ＮＯ）、システム制御回路５０は当該ＩＳＯ感度変更後の補正データとメモリ１９９に保存されていた補正データ（メモリ値）との差が所定の閾値を超えているか否かを判定する（ステップＳ２０７）。当該差が閾値を超えていると（ステップＳ２０７において、ＹＥＳ）、システム制御回路５０はステップＳ２０６に処理に進んで更新係数を変更する。
【００７５】
上記の差が閾値以下であると（ステップＳ２０７において、ＮＯ）、システム制御回路５０は更新係数を通常の更新係数とする（つまり、更新係数を変更しない：ステップＳ２０８）。そして、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。
【００７６】
このようにして、更新係数がαからβに変更されたとすると（α＜β）、上記の式（１）は次の式（２）で示されることになる。
【００７７】
Ｚ（Ａ）  ＝Ｘ（Ａ）−β（Ｙ（Ａ）−ＢＫ）      （２）
ＩＳＯ感度が変更された際に、更新係数を大きくすると、図９に示すように、図８と比べｎフレーム目におけるダークシェーディングとシェーディング補正値（補正データ）との差（絶対値）との差が小さくなり、（ｎ＋１）フレーム目でこの差が解消される。
【００７８】
このようにして、動画撮影の際に、ＩＳＯ感度が変更されると、更新係数を大きくする。これによって、ＩＳＯ感度変更後の水平ダークシェーディングおよびシェーディング補正値との差を小さくして、水平ダークシェーディングが補正された動画データを得る。
【００７９】
なお、ステップＳ２０７において補正値データを評価する際には、列毎に行うようにしもよく、また全ての列の平均値で評価を行うようにしてもよい。
【００８０】
さらに、補正値演算回路１９５が補正データＺを予め設定されたテーブルに応じて決定する際には、ＩＳＯ感度変更後のテーブルを設けておくようにすればよい。また、水平ダークシェーディングの大きな変化に対処するため、ＩＳＯ感度変更後の所定の期間更新係数を大きくするようにしてもよい。加えて、ＩＳＯ感度変更後、更新係数を所定の値に変更して、当該所定の値から時間に応じて更新係数を通常の更新係数に逓減させることにしてもよい。
【００８１】
そして、上述の例では、ＩＳＯ感度の変更をＩＳＯ感度変更ボタン６８によって行うようにしたが、例えば、撮影シーンに応じて自動的にＩＳＯ感度の変更を行う設定となっている場合には、システム制御回路５０は撮影シーン毎のＩＳＯ感度変更の都度、更新係数を補正することになる。
【００８２】
［第２の実施形態］
次に、本発明の第２の実施形態による撮像装置について説明する。なお、第２の実施形態による撮像装置の構成は図１に示す撮像装置と同様である。
【００８３】
図１１は、本発明の第２の実施形態による撮像装置において、動画撮影中にＩＳＯ変更スイッチによってＩＳＯ感度が変更された際の動画フレームを示す図である。
【００８４】
図１１において、システム制御回路５０は、ＩＳＯ感度が変更されると、撮像素子１４における補正値更新領域を拡大する。いま、（ｎ−１）フレーム目からｎフレーム目においてＩＳＯ感度が変更されると、システム制御回路５０はｎフレーム目および（ｎ＋１）フレーム目において補正値更新領域を（ｎ−１）フレーム目における補正値更新領域よりも拡大する。
【００８５】
ところで、動画データを読み出す前の遮光領域については、水平シェーディング補正以外にも他の画像補正用領域として用いられる。一方、ＩＳＯ感度を変更した際には、他の画像補正用領域を小さくして、水平シェーディングのための補正値更新領域を拡大して、変化量の大きいダークシェーディングに対応するようにしてもよい。
【００８６】
前述したように、水平シェーディング補正更新処理の回数は補正値更新領域の行数に比例する。このため、図９で説明したように更新係数を大きくすることなく、補正値更新領域を拡大すれば水平シェーディングための補正データの変化を大きくすることができる。
【００８７】
この結果、補正値更新領域を拡大すれば、水平ダークシェーディングが大きく変化した場合に対処することができる。なお、補正値更新領域を拡大する処理と更新係数を大きくする処理とを行うようにしてもよい。
【００８８】
図１２は、本発明の第２の実施形態による撮像装置の撮影処理を説明するためのフローチャートである。
【００８９】
なお、図１２に示すフローチャートに係る処理はシステム制御回路５０および画像処理・補正回路１９によって行われる。また、図１２において、図４および図１０に示すフローチャートにおけるステップと同一のステップについては同一の参照部号を付して説明を省略する。
【００９０】
図１０で説明したように、ステップＳ２０５において、システム制御回路５０はＩＳＯ感度が変更されたか否かを確認する。そして、ＩＳＯ感度が変更されていると、システム制御回路５０は、図１１に関連して説明したように補正値更新領域を拡大する（ステップＳ３０６）。そして、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。
【００９１】
ＩＳＯ感度が変更されていないと、ステップＳ２０７でシステム制御回路５０は当該ＩＳＯ感度変更後の補正データとメモリ１９９に保存されていた補正データ（メモリ値）との差が所定の閾値を超えているか否かを判定する。当該差が閾値を超えていると、システム制御回路５０はステップＳ３０６に処理に進んで補正値更新領域を拡大する。
【００９２】
上記の差が閾値以下であると、システム制御回路５０は補正値更新領域を通常の補正値更新領域とする（つまり、補正値更新領域を拡大しない：ステップＳ３０７）。そして、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。
【００９３】
補正値更新領域を拡大する際には、システム制御回路５０は動画撮影の際にフレーム間において撮像素子１４からの読み出しが行われないブランキング期間において水平シェーディング補正データの更新を行うようにしてもよい。この際、撮像素子１４からの出力を間引いている場合には、補正データの更新の際には間引き引き量を大きくしてブランキング期間を大きくするようにしてもよい。
【００９４】
さらに、動画撮影中又はライブビュー中に静止画の撮影要求があると、システム制御回路５０は静止画に係る水平シェーディングの補正値取得領域および補正値更新領域の一部又は全部をその後の動画に係る補正値更新領域として用いるようにしてもよい。
【００９５】
図１３は、本発明の第２の実施形態による撮像装置において、動画撮影中に静止画の撮影要求があった場合の補正値更新領域の変更処理を説明するための図である。そして、図１３（ａ）は静止画用の遮光画素データ（補正値取得用データ）を取得した後静止画データに補正値更新領域を設定した状態を示す図であり、図１３（ｂ）は静止画用の遮光画素データ（補正値取得用データ）を取得した後動画フレームに補正値更新領域を設定した状態を示す図である。
【００９６】
図１３（ａ）において、動画撮影中に静止画の撮影要求があると、画像処理・補正回路１９はシステム制御回路５０の制御下で静止画用の遮光画素データ（補正値取得用データ）を取得する。その後、画像処理・補正回路１９は撮像素子１４から静止画データを取得して、当該静止画データに補正値更新領域（静止画用補正データ更新領域）を設定して、動画フレームと同様にして補正データを得る。そして、静止画データの補正を実行する。
【００９７】
図１３（ａ）に示す例では、静止画から動画の切り替えに当たって、動画用の補正値更新領域から補正データを得る必要がある。
【００９８】
一方、図１３（ｂ）においては、静止画用の遮光画素データ（補正値取得用データ）を取得した後、画像処理・補正回路１９は撮像素子１４から静止画データを取得する。この際、画像処理・補正回路１９は、動画用の補正値更新領域（動画用補正データ更新領域）から得られる補正データを用いて静止画データの補正を行う。
【００９９】
［第３の実施形態］
続いて、本発明の第３の実施形態による撮像装置について説明する。なお、第３の実施形態による撮像装置の構成は図１に示す撮像装置と同様である。
【０１００】
前述の第１の実施形態および第２の実施形態では、ＩＳＯ感度が変更されると、それぞれ更新係数および補正値更新領域の変更を行うようにしたが、第３の実施形態による撮像装置では動画の撮影モードが変更された際、更新係数又は補正値更新領域の変更が行われる。
【０１０１】
図１４は、本発明の第３の実施形態による撮像装置における読み出しモードの変更を説明するための図である。そして、図１４（ａ）は全面表示の読み出しモードを示す図であり、図１４（ｂ）は表示を拡大した読み出しモードを示す図である。
【０１０２】
例えば、ライブビューの際の動画全画面表示においては、図１４（ａ）に示すように、列Ｃでは画素データの読み出しが行われるが、列Ｄでは画素データの読み出しが行われない。つまり、画素データが読み出される列と画素データが読み出されない列とが存在する。
【０１０３】
一方、読み出し切り替えスイッチ６９によって読み出しモードとしてライブビュー拡大表示が選択されると、図１４（ｂ）に示すように、Ｃ列およびＤ列ともに画素データが読み出される。つまり、ライブビュー拡大表示では、撮像素子１４の一部の列を間引いて（詰めて）読み出しが行われるので、ここでは、列Ｃおよび列Ｄともに画素データが読み出される。
【０１０４】
そして、第３の実施形態では、読み出しモードが変更されると、後述するように、読み出しモード変更前のフレームで画素データの読み出しを行っていた列に関しては通常の更新領域とし、画素データの読み出しを行っていなかった列に関しては更新領域を大きくする。
【０１０５】
つまり、読み出しを行っていた列（更新を行っていた列）については、前の水平シェーディング補正データが使用でき、新たに水平シェーディング補正データを取得する必要がない。よって、読み出しを行っていた列については読み出しモードの切り替えによるフレーム落ちなどを防止することができる。
【０１０６】
この際、読み出しを行っていなかった列（更新を行っていなかった列）に係る画素データについては、黒レベルから更新を行うようにしてもよい。また、読み出しを行っていなかった列について、当該列に最も近い読み出しを行っていた列に係る補正データをコピーして、読み出しモードが切り替えられた際コピーした補正データを用いて更新を行うようにしてもよい。さらに、読み出しを行っていなかった列から読み出しを行う列に変更となった際には、読み出しを行う前に、当該列の過去の補正データがメモリに存在すれば、この補正データを用いて更新を行うようにしてもよい。
【０１０７】
図１５は、本発明の第３の実施形態による撮像装置の撮影処理を説明するためのフローチャートである。
【０１０８】
なお、図１５に示すフローチャートに係る処理はシステム制御回路５０および画像処理・補正回路１９によって行われる。また、図１５において、図４および図１２に示すフローチャートにおけるステップと同一のステップについては同一の参照部号を付して説明を省略する。
【０１０９】
ステップＳ１０４において、動画撮影が終了していないと、システム制御回路５０は読み出しモードが変更されたか否かを確認する（ステップＳ４０５）。そして、読み出しモードが変更されていると（ステップＳ４０５において、ＹＥＳ）、システム制御回路５０は、ステップＳ３０６に進んで、前述のようにして補正値更新領域を拡大する。そして、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。
【０１１０】
読み出しモードが変更されていないと（ステップＳ４０５において、ＮＯ）、ステップＳ２０７でシステム制御回路５０は当該読み出しモード変更後の補正データとメモリ１９９に保存されていた補正データ（メモリ値）との差が所定の閾値を超えているか否かを判定する。当該差が閾値を超えていると、システム制御回路５０はステップＳ３０６に処理に進んで補正値更新領域を拡大する。
【０１１１】
上記の差が閾値以下であると、システム制御回路５０は、ステップＳ３０７の処理に進んで、補正値更新領域を通常の補正値更新領域とする。そして、画像処理・補正回路１９はシステム制御回路５０の制御下でステップＳ１０２の処理に戻る。
【０１１２】
以上のように、本発明の実施の形態によれば、ダーク水平ダークシェーディングが急激な変化しても、精度よく水平シェーディング補正を行うことができるばかりでなく、補正のためのメモリ容量を低減することができる。
【０１１３】
上述の説明から明らかなように、図１に示す例では、システム制御回路５０、画像処理・補正回路１９、およびＴＧ１８が第１の補正データ取得手段、読み出し手段、第２の補正データ取得手段、および補正手段として機能する。また、システム制御回路５０およびＩＳＯ変更スイッチ６８は撮影条件設定手段として機能し、さらに、システム制御回路５０および読み出しモード切り替えスイッチ６９は撮影条件設定手段として機能する。
【０１１４】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１１５】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１６】
この際、制御方法および制御プログラムの各々は、少なくとも第１の補正データ取得ステップ、読み出しステップ、第２の補正データ取得ステップ、および補正ステップを有することになる。
【０１１７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１８】
１４  撮像素子
２２  メモリ制御回路
２０  画像処理・補正回路
３０，１９６  メモリ
６８  ＩＳＯ変更スイッチ
６９  読み出しモード切り替えスイッチ
１９２  補正データ取得・補正回路
１９４  補正更新回路
１９５  補正算出回路
【図１】
2013191921.tif 000003
【図２】
2013191921.tif 000004
【図３】
2013191921.tif 000005
【図４】
2013191921.tif 000006
【図５】
2013191921.tif 000007
【図６】
2013191921.tif 000008
【図７】
2013191921.tif 000009
【図８】
2013191921.tif 000010
【図９】
2013191921.tif 000011
【図１０】
2013191921.tif 000012
【図１１】
2013191921.tif 000013
【図１２】
2013191921.tif 000014
【図１３】
2013191921.tif 000015
【図１４】
2013191921.tif 000016
【図１５】
2013191921.tif 000017