(57)【要約】【課題】レリーズタイムラグや、像喪失（ブラックアウト）期間を短縮することができる。【解決手段】読出し制御部５は、第１の撮像モードから第２の撮像モードへ撮像モードが切り替わる場合に、撮像素子１が第２の撮像モードで出力する信号の補正に用いる信号を第２の撮像モードの開始前に出力するように撮像素子１を制御する。【選択図】図１
2009296134.tif 000002
【特許請求の範囲】
【請求項１】
撮影条件の異なる複数の撮像モードで動作することが可能であって、各撮像モードに応じた信号を出力する撮像素子と、
第１の撮像モードから第２の撮像モードへ撮像モードが切り替わる場合に、前記撮像素子が前記第２の撮像モードで出力する信号の補正に用いる信号を前記第２の撮像モードの開始前に出力するように前記撮像素子を制御する制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記第２の撮像モードの開始前に前記撮像素子が出力する前記補正に用いる信号に基づいて、前記第２の撮像モードで出力する信号を補正する画像処理部
を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子の受光面を遮光可能な機械シャッタ
を備え、
前記機械シャッタが遮光状態から露光状態、または露光状態から遮光状態への移行時に、前記撮像素子が前記第２の撮像モードで出力する信号の補正に用いる信号を前記第２の撮像モードの開始前に出力するように、前記制御部は前記撮像素子を制御する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記撮像モードは、画素数が少ない表示用信号を前記撮像素子が出力する表示用画像撮像モードと、画素数が多い高解像度信号を前記撮像素子が出力する全画面画像撮像モードと
を含むことを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮影する撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラで撮影した画像を補正する方法として、撮影画像を出力する撮像素子と、この撮像素子の受光面を遮光可能な機械シャッタと、所定時間よりも長い露光秒時による撮影動作が行われた後に、上記機械シャッタを作動させて撮像素子の受光面を遮光した状態で適宜露光時間によるダミー撮像動作を行い、このダミー撮像データを用いて上記撮影画像の画質を補正する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、撮像データを取得するための撮像露光の直前と直後に、第１及び第２の補正用データを取得すべく制御し、補正用データとその取得時間と撮像露光時間とをパラメータとして、撮像露光時間内の実補正量を演算する方法も知られている（例えば、特許文献２参照）。また、固体撮像素子のオプティカルブラック領域における一水平走査線分の出力信号を用いて、固定パタンノイズを除去する方法、あるいは低減する方法が知られている（例えば、特許文献３参照）。
【特許文献１】特開２０００−１２５２０４号公報
【特許文献２】特開平１０−２０８０１６号公報
【特許文献３】特開２００４−２０８２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の方法を用いた撮影画像の補正処理では、レリーズタイムラグや像喪失（ブラックアウト）期間が増加するという問題があった。また、近年、撮像の高速フレームレート化が進んでいる一方、一般的に補正処理などに用いられているオプティカルブラック（ＯＢ）領域が縮小化しており、固体撮像素子のＯＢ領域だけでは補正処理に限界がある。また、補正処理を優先して補正用として読み出し画素を増加させると、高画質な画像を得られる一方、レリーズタイムラグや、ブラックアウトが増加するという問題がある。
【０００５】
本発明は、上記の課題を解決するためになされたものであり、レリーズタイムラグや、像喪失（ブラックアウト）期間を短縮することができ、高速で撮像可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮影条件の異なる複数の撮像モードで動作することが可能であって、各撮像モードに応じた信号を出力する撮像素子と、第１の撮像モードから第２の撮像モードへ撮像モードが切り替わる場合に、前記撮像素子が前記第２の撮像モードで出力する信号の補正に用いる信号を前記第２の撮像モードの開始前に出力するように前記撮像素子を制御する制御部と、を備えたことを特徴とする撮像装置である。
【０００７】
また、本発明は、前記第２の撮像モードの開始前に前記撮像素子が出力する前記補正に用いる信号に基づいて、前記第２の撮像モードで出力する信号を補正する画像処理部を備えたことを特徴とする撮像装置である。
【０００８】
また、本発明は、前記撮像素子の受光面を遮光可能な機械シャッタを備え、前記機械シャッタが遮光状態から露光状態、または露光状態から遮光状態への移行時に、前記撮像素子が前記第２の撮像モードで出力する信号の補正に用いる信号を前記第２の撮像モードの開始前に出力するように、前記制御部は前記撮像素子を制御することを特徴とする撮像装置である。
【０００９】
また、本発明の撮像装置において、前記撮像モードは、画素数が少ない表示用信号を前記撮像素子が出力する表示用画像撮像モードと、画素数が多い高解像度信号を前記撮像素子が出力する全画面画像撮像モードとを含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、レリーズタイムラグや、像喪失（ブラックアウト）期間を短縮することができる。
【発明を実施するための最良の形態】
【００１１】
（第一の実施形態）
以下、図面を参照し、本発明の第一の実施形態を説明する。図１は本実施形態による撮像装置の構成を示した構成図である。撮像装置は撮像素子１と、画像処理部２と、画像出力部３と、画像表示部４と、読出し制御部５と、システム制御部６と、タイミングジェネレータ７とメモリ８とを含んでいる。
【００１２】
撮像素子１は、有効画素領域とＯＢ（オプティカルブラック）領域からなる受光面に入射した光（光学像）を光電変換により電気信号（アナログ画像信号）に変換し出力する。画像処理部２は撮像素子１から出力されたアナログ画像信号をデジタル画像信号に変換する。また、画像処理部２はデジタル画像信号に対する画像処理を実行する。画像出力部３は画像処理部２が画像処理を行った画像信号を画像として画像表示部４に表示する制御を行う。画像表示部４は画像を表示する。読出し制御部５は撮像素子１が読み出す信号を制御する。システム制御部６は撮像装置全体の制御を行う。タイミングジェネレータ７は撮像装置内の各部の動作タイミングを規定するタイミング信号を生成し、撮像素子１と、画像処理部２と、画像出力部３と、画像表示部４と、システム制御部６とに生成したタイミング信号を入力する。メモリ８はデジタル画像信号を記憶する。
【００１３】
次に、図２を参照して、撮像素子１が出力する信号のタイミングと、出力する画像のイメージとについて説明する。ここで、図中“Valid”は、有効期間の画像データを表しており、“V BLANK”は、垂直走査期間のブランキング期間を表している。
【００１４】
図示する例では、従来の撮像装置では、ライブビュー（ＬＶ）画像の出力の前（ライブビュー画像を出力する撮像モード（表示用画像撮像モード））に、ライブビュー画像の補正に用いるＯＢ（オプティカルブラック）画像を出力するように読出し制御部は撮像素子を制御する。また、スチル（単写）画像出力の前（スチル画像を出力する撮像モード（全画面画像撮像モード））に、スチル画像データの補正に用いるＦＰＮ（固定パタンノイズ）補正データを出力するように読出し制御部は撮像素子を制御する。
【００１５】
また、表示用画像撮像モードは、画素数が少ない表示用信号を撮像素子が出力する撮像モードである。また、全画面画像撮像モードは、画素数が多い高解像度信号を撮像素子が出力する撮像モードである。また、ライブビュー画像は、所定のフレームレートで連続的に出力される。
【００１６】
一方、本実施形態の撮像装置では、ライブビュー画像の出力の前（表示用画像撮像モード）にＦＰＮ補正データを出力するように読出し制御部５は撮像素子１を制御している。また、スチル画像の前（全画面画像撮像モード）にはＯＢ画像のみ出力するように読出し制御部５は撮像素子１を制御している。
【００１７】
なお、撮像モードを変更する方法としては、例えばレリーズボタン（図示せず）が押された場合、読出し制御部５はライブビュー画像を出力する撮像モード（表示用画像撮像モード）からスチル画像を出力する撮像モード（全画面画像撮像モード）に撮像モードを変更するよう撮像素子１を制御する。また、全画面画像撮像モードで撮像後、表示用画像撮像モードに撮像モードを変更するよう、読出し制御部５は撮像素子１を制御する。
【００１８】
次に、本実施形態において、撮像素子１が出力する信号のタイミングと、画像処理部２が表示用データ（ライブビュー画像またはスチル画像）を生成するタイミングとについて説明する。図３は、本実施形態および従来の撮像装置における撮像素子１が信号を出力するタイミングと、画像処理部２が表示用データを出力するタイミングとを示した図である。
【００１９】
図示する例では、従来の撮像装置に用いられている画像処理部は、ライブビュー画像の出力の前に撮像素子が出力したＯＢ画像を用いて当該ライブビュー画像の補正を行い、表示用データを出力している。また、スチル画像出力の前に撮像素子が出力したＦＰＮ補正データを用いて当該スチル画像の補正を行い、表示用データを出力している。
【００２０】
一方、本実施形態の撮像装置に用いられている画像処理部２は、ライブビュー画像の出力の前に撮像素子１が出力したＦＰＮ補正データよりライブビュー画像とスチル画像とを補正するための補正データを生成する。その後、撮像素子１がライブビュー画像を出力した場合、生成した補正データを用いて画像処理部２は当該ライブビュー画像の補正を行う。撮像素子１がＯＢ画像とスチル画像とを出力した場合、生成した補正データとＯＢ画像とを用いて画像処理部２は当該スチル画像の補正を行う。図示する例では、画像処理部２は、補正データＮとＯＢ画像Ｍとを用いてスチル画像Ｍを補正している。
【００２１】
なお、画像処理部２は、補正データとＯＢ画像とを用いて補正したスチル画像を画像表示部４に表示するのに適した画像とするために、さらにＢＡＹＥＲ（ベイヤ）変換や、リサイズ処理や、ガンマ補正などの画像処理を行ってもよい。また、画像処理部２が補正データを生成する方法としては、補正データをラインごとに積算処理行い生成する、またはフレームごとに積算処理を行い生成してもよい。一般的に、補正用データの画素数が多いほど補正効果を得ることができ、ランダムノイズを削減できることが明らかにされている。
【００２２】
上述したとおり、本実施形態によれば、読出し制御部５は、ライブビュー画像を出力する直前に、スチル画像を補正するためのＦＰＮ補正データを出力するように撮像素子１を制御する。また、画像処理部２はＦＰＮ補正データに基づいてスチル画像を補正するための補正データを生成する。
【００２３】
すなわち、撮像素子１は、表示用画像撮像モードから全画面画像撮像モードに切り替わる前に、全画面画像撮像モードで出力されるスチル画像の補正を行うための補正データを出力し、画像処理部２は、当該補正データを用いてスチル画像の補正を行う。
【００２４】
これにより、読出し制御部５はＦＰＮ補正データを全画面画像撮像モード中に出力するように撮像素子１を制御する必要がない。よって、画像処理部２がライブビュー画像を出力した後、補正処理を最適に行ったスチル画像を出力するまでの時間（レリーズタイムラグ）を従来と比較して短縮することができる。
【００２５】
なお、本実施形態では、スチル画像の補正処理において、撮像素子１がスチル画像Ｍを出力する直前に出力したＦＰＮ補正データに基づいて生成した補正データを用いて画像処理部２はスチル画像Ｍの補正を行ったが、画像処理部２は、補正データＮより前に生成した補正データＮ−１，Ｎ−２,・・・の複数のデータを累積加算や平均化などの処理を施し補正データを生成し、生成した補正データを用いてスチル画像Ｍの補正を行ってもよい。
【００２６】
また、本実施形態では、スチル画像の補正処理において、撮像素子１がスチル画像Ｍを出力する直前に出力したＦＰＮ補正データに基づいて生成した補正データを用いて画像処理部２はスチル画像Ｍの補正を行ったが、画像処理部２は、ＦＰＮ補正データに基づいて生成した複数の補正データをメモリ８に記憶させ、記憶させた補正データのうちスチル画像Ｍの補正に最適な補正データを用いてスチル画像Ｍを補正してもよい。
【００２７】
また、スチル画像の補正方法について説明したが、本実施形態ではライブビュー画像の補正も同様に行うことができる。図４は、本実施形態の撮像装置における撮像素子１が信号を出力するタイミングと、出力する画像のイメージとを示した図である。
【００２８】
図示する例では、本実施形態の撮像装置では、撮像素子１がスチル画像の前（全画面画像撮像モード）にＯＢ画像を出力するように、読出し制御部５は撮像素子１を制御している。また、撮像素子１がライブビュー画像の出力の前（表示用画像撮像モード）にＯＢ画像を出力するように、読出し制御部５は撮像素子１を制御している。
【００２９】
本実施形態では、スチル画像の前に出力されたＯＢ画像と、ライブビュー画像の前に出力されたＯＢ画像とに基づいて、当該ライブビュー画像の補正を行う。図示する例では、フレームＭで出力されたＯＢ画像と、フレームＱで出力されたＯＢ画像とに基づいて、画像処理部２はフレームＱで出力されたライブビュー画像の補正を行う。
【００３０】
従来では、全画面画像撮像モードから表示用画像撮像モードにモードが切り替わった場合、モードが切り替わった後のＯＢ画像のみに基づいてライブビュー画像の補正を行っていた。そのため、画像処理部２は、ＯＢ画像などの補正データの出力が十分に得られない為、満足する補正を行うためにはモード切り替え後、数十フレームを要していた。
【００３１】
本実施形態では、全画面画像撮像モードの前（フレームＮ）に出力されたＯＢ画像と、全画面画像撮像モードの後に出力されたＯＢ画像（フレームＱ）との撮像条件（フレームレートや間引き率など）が同じ場合には、全画面画像撮像モードの前（フレームＮ）に出力されたＯＢ画像と、全画面画像撮像モードの後（フレームＱ）に出力されたＯＢ画像と、さらに全画面画像撮像モード中（フレームＭ）に出力されたＯＢ画像とに基づいて全画面画像撮像モードの後（フレームＱ）に出力されたライブビュー画像の補正を行う。
【００３２】
これにより、画像処理部２は迅速にライブビュー画像の補正を行うことができるため、画像表示部４がライブビュー画像を表示するまでの期間（像喪失の期間）を短縮することが出来る。
【００３３】
（第二の実施形態）
次に、図面を参照し、本発明の第二の実施形態を説明する。図５は本実施形態による撮像装置の構成を示した構成図である。撮像装置は撮像素子１と、画像処理部２と、画像出力部３と、画像表示部４と、読出し制御部５と、システム制御部６と、タイミングジェネレータ７とメモリ８とシャッタ部９とを含んでいる。
【００３４】
撮像素子１と、画像処理部２と、画像出力部３と、画像表示部４と、読出し制御部５と、システム制御部６と、タイミングジェネレータ７と、メモリ８とは図１に示した各部と同様である。シャッタ部９は機械シャッタを有しており、撮像素子１の受光を制御する。
【００３５】
次に、本実施形態におけるシャッタ部９と補正データとの出力のタイミングについて図６を参照して説明する。
（ステップＳ６０１）撮像装置はライブビュー画像の表示を行う。このとき、撮像素子１はライブビュー画像の出力を行う。また、シャッタ部９は解放状態（露光状態）である。開放状態では、撮像素子１の有効画素領域に光が入射し、露光が行われる。
【００３６】
（ステップＳ６０２）スチル画像の取得指示を認識後、撮像装置は、ライブビュー画像を出力する撮像モード（表示用画像撮像モード）から、スチル画像を出力する撮像モード（全画面画像撮像モード）に撮像モードの変更（遮光準備）を開始する。このとき、撮像素子１がスチル画像の補正に使用する補正データを出力するように、読出し制御部５は撮像素子１を制御する。また、シャッタ部９は、開放状態から暗黒状態（遮光状態）に移行する途中の状態である。この状態ではスチル画像を取得することができないため、この時間を利用して補正データの出力が行われる。なお、スチル画像の取得指示の認識方法としては、２段階の押し込み状態を設定可能なレリーズボタンの２段目が設定された場合、スチル画像の取得指示を認識する方法が考えられる。
【００３７】
（ステップＳ６０３）遮光準備完了後、撮像装置はスチル画像の取得を行う。具体的には、遮光準備が完了すると、撮像素子１の受光状態は、光が受光面に入射しない暗黒状態となり、フォトダイオードのリセット動作が行われ電荷が掃き出される。その後シャッタ走査を行うことで所望の露光時間の撮像動作（本露光用読み出し）が行われ、スチル画像を取得することができる。画像処理部２は、ステップＳ６０２で取得した補正データを用いてスチル画像を補正する。なお、前記撮像動作の読み出しの前や後にダミー読み出しと呼ばれる補正用のデータを読み出したりすることもある。
【００３８】
（ステップＳ６０４）スチル画像の取得が完了後、撮像装置はスチル画像を出力する撮像モード（全画面画像撮像モード）からライブビュー画像を出力する撮像モード（表示用画像撮像モード）に撮像モードの変更（露光準備）を開始する。このとき、撮像素子１がライブビュー画像の補正に使用する補正データを出力するように、読出し制御部５は撮像素子１を制御する。また、シャッタ部９は暗黒状態から開放状態に移行する途中の状態である。この状態ではライブビュー画像を取得することができないため、この時間を利用して補正データの出力が行われる。
【００３９】
（ステップＳ６０５）ステップＳ６０１の処理と同様に、撮像装置はライブビュー画像の表示を行う。このとき、撮像素子１はライブビュー画像の出力を行う。また、シャッタ部９は解放状態である。画像処理部２はステップＳ６０４で取得した補正データを用いてライブビュー画像を補正する。
【００４０】
なお、ステップＳ６０３で使用するスチル画像用の補正データの生成方法として、図６に示したスチル画像用補正データ０やスチル画像用補正データ２のタイミングで得られた補正データと、ステップＳ６０２で取得した遮光準備中に取得した補正データとを組み合わせて補正データを生成してもよい。また、ステップＳ６０５で使用するライブビュー画像用の補正データの生成方法として、図６に示したライブビュー画像用補正データ０やライブビュー画像用補正データ１のタイミングで得られた補正データと、ステップＳ６０４で取得した露光準備中に取得した補正データとを組み合わせて補正データを生成してもよい。
【００４１】
次に、図７を参照して、表示用画像撮像モードから、全画面画像撮像モードに撮像モードを変更した際のシャッタ部９の状態と、撮像素子１が出力する画像の出力タイミングについて説明する。
【００４２】
機械式シャッタを備えたカメラでは、表示用画像撮像モードから全画面画像撮像モードに移行する際に遮光準備時間が発生する。本実施形態では、遮光準備時間に合わせて次の撮像モードで取得する画像用の補正データを撮像素子１が出力するように、読出し制御部５は撮像素子１を制御している。
【００４３】
図示する例では、遮光準備時間に合わせて、次の撮像モードである全画面画像撮像モードで取得するスチル画像用の補正データを取得している。例７−１では、ＯＢ画像を複数取得している。また、例７−２では、スチル画像を取得する際の動作と同様な回路動作を行いつつ、ダイオードの電荷を読まないダミー読み出しを行っている。
【００４４】
次に、図８を参照して、全画面画像撮像モードから、表示用画像撮像モードに撮像モードを変更した際のシャッタ部９の状態と、撮像素子１が出力する画像の出力タイミングについて説明する。
【００４５】
機械式シャッタを備えたカメラでは、全画面画像撮像モードから表示用画像撮像モードに移行する際に露光準備時間が発生する。本実施形態では、露光準備時間に合わせて次の撮像モードで取得する画像用の補正データを撮像素子１が出力するように、読出し制御部５は撮像素子１を制御している。
【００４６】
図示する例では、露光準備期間に合わせて、次の撮像モードである表示用画像撮像モードで取得するライブビュー画像用の補正データを取得している。例８−１では、ＯＢ画像を複数取得している。また、例８−２では、ライブビュー画像を取得する際の動作と同様な回路動作を行いつつ、ダイオードの電荷を読まないダミー読み出しを行っている。
【００４７】
上述したとおり、本実施形態によれば、シャッタ部９が開放状態から暗黒状態に移行する途中および暗黒状態から開放状態に移行する途中に撮像素子１は補正データを出力し、画像処理部２はその補正データに基づいてスチル画像の補正およびライブビュー画像の補整を行う。すなわち、遮光準備期間や露光準備期間に補正用データを読み出すことにより、本実施形態における撮像装置は、レリーズタイムラグや像喪失時間を短縮しつつ、それらの補正データを用いて次の撮像モードで取得する画像の補正を行うことにより、より良い画質の画像を取得することが出来る。
【００４８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、本実施形態では、撮像装置の画像処理部がスチル画像の補正を行っているが、スチル画像と補正データとをパーソナルコンピュータに移行し、パーソナルコンピュータを用いてスチル画像の補正を行ってもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の第一の実施形態による撮像装置の構成を示した構成図である。
【図２】本発明の第一の実施形態および従来の撮像装置における撮像素子が信号を出力するタイミングと、出力する画像のイメージとを示した図である。
【図３】本発明の第一の実施形態および従来の撮像装置における撮像素子が信号を出力するタイミングと、画像処理部が表示用データを出力するタイミングとを示した図である。
【図４】本発明の第一の実施形態による撮像装置における撮像素子が信号を出力するタイミングと、出力する画像のイメージとを示した図である。
【図５】本発明の第二の実施形態による撮像装置の構成を示した構成図である。
【図６】本発明の第二の実施形態におけるシャッタ部と、補正データとの出力のタイミングを示した図である。
【図７】本発明の第二の実施形態において、表示用画像撮像モードから、全画面画像撮像モードに撮像モードを変更した際のシャッタ部の状態と、撮像素子が出力する画像の出力タイミングを示した図である。
【図８】本発明の第二の実施形態において、全画面画像撮像モードから、表示用画像撮像モードに撮像モードを変更した際のシャッタ部の状態と、撮像素子が出力する画像の出力タイミングを示した図である。
【符号の説明】
【００５０】
１・・・撮像素子、２・・・画像処理部、３・・・画像出力部、４・・・画像表示部、５・・・読出し制御部、６・・・システム制御部、７・・・タイミングジェネレータ、８・・・メモリ、９・・・シャッタ部
【図１】
2009296134.tif 000003
【図２】
2009296134.tif 000004
【図３】
2009296134.tif 000005
【図４】
2009296134.tif 000006
【図５】
2009296134.tif 000007
【図６】
2009296134.tif 000008
【図７】
2009296134.tif 000009
【図８】
2009296134.tif 000010