(57)【要約】【課題】スミア補正時に手ぶれ補正情報を用いることで、高精度なスミア補正を行うことができる撮像装置を提供する。【解決手段】システム制御部１２１は、手ぶれ量である角変位量を算出する（Ｓ１）。この算出された角変位量と、現在のＶＡＰ１０２の頂角の角度とから、手ぶれ補正可能であるか否かを判別する（Ｓ２）。手ぶれ補正可能であると判別された場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量に応じたスミア補正を行う（Ｓ３）。一方、手ぶれ補正ができない状態と判別された場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量を基に、ぶれ量（あるいは、ぶれ量およびぶれ方向）に応じたスミア補正を行う（Ｓ４）。【選択図】図２
2009027627.tif 000002
【特許請求の範囲】
【請求項１】
撮像信号を出力する撮像素子を有し、前記撮像素子を用いて画像を撮影する撮像装置であって、
前記撮像装置のぶれ量を検出するぶれ量検出手段と、
前記撮像素子から出力される撮像信号のスミア量を検出するスミア量検出手段と、
前記検出されたスミア量を用い、前記撮像信号の有効画像領域に対してスミア補正を行うスミア補正手段と、
前記検出されたぶれ量に応じて、前記スミア補正手段によるスミア補正を制御するスミア制御手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記検出されたぶれ量に応じて、前記撮像装置で撮影される画像の像ぶれを補正する像ぶれ補正手段と、
前記検出されたぶれ量が前記画像の像ぶれを補正可能な範囲内であるか否かを判別するぶれ量判別手段とを備え、
前記スミア制御手段は、前記ぶれ量判別手段による判別の結果に応じて、前記スミア補正手段によるスミア補正を制御することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ぶれ量判別手段による判別の結果、前記検出されたぶれ量が前記画像の像ぶれを補正可能な範囲内でない場合、前記スミア制御手段は、前記スミア補正手段によるスミア補正を行わないことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮像装置の撮影状態がパンニング状態であるか否かを判別する撮影状態判別手段を備え、
前記スミア制御手段は、前記検出されたぶれ量および前記判別された撮影状態に応じて、前記スミア補正手段によるスミア補正を制御することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記検出された撮像装置のぶれ量から、更に前記撮像装置のぶれ量を予測するぶれ量予測手段を備え、
前記スミア制御手段は、前記予測されたぶれ量に応じて、前記スミア補正手段によるスミア補正を制御することを特徴とする請求項１または４記載の撮像装置。
【請求項６】
前記ぶれ量検出手段として、加速度センサが用いられることを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
【請求項７】
撮像信号を出力する撮像素子を用いて画像を撮影する撮像装置のスミア補正方法であって、
ぶれ量検出手段が前記撮像装置のぶれ量を検出するぶれ量検出ステップと、
スミア量検出手段が前記撮像素子から出力される撮像信号のスミア量を検出するスミア量検出ステップと、
スミア補正手段が前記検出されたスミア量を用い、前記撮像信号の有効画像領域に対してスミア補正を行うスミア補正ステップと、
スミア制御手段が前記検出されたぶれ量に応じて、前記スミア補正手段によるスミア補正を制御するスミア制御ステップとを有することを特徴とするスミア補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号を出力する撮像素子を用いて画像を撮影する撮像装置及びそのスミア補正方法に関する。
【背景技術】
【０００２】
従来、フレームトランスファー型ＣＣＤやインターライン型ＣＣＤなどに代表される撮像素子を用いた撮像装置に対し、そのスミア補正方法が種々提案されている。
【０００３】
例えば、ＣＣＤの実用化当初から、動画におけるスミア補正について提案がなされている（特許文献１参照）。特許文献１には、スミアの水平方向の移動量を検出し、この動きに追従した補正信号を得てスミア補正を行い、スミアの動きによる補正誤差を低減することが示されている。
【０００４】
また、近年においても、スミア補正に関し、撮像素子の遮光された領域の映像信号からピクセル単位で動きを検出するなどの提案がなされている（特許文献２参照）。特許文献２には、遮光された領域の映像信号からピクセル単位で動きを検出して巡回係数を算出し、遮光された領域の映像信号に加算平均およびフレーム巡回加算を施すことによりスミア補正信号を生成することが示されている。
【特許文献１】特開昭６１−２３４１７７号公報
【特許文献２】特開２００４−２８９５５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の撮像装置のスミア補正方法では、以下に掲げる問題があった。即ち、特許文献１には、スミアの移動量が一定である場合の補正方法が示されているが、スミアの移動量が一定でない場合、補正を行うことができなかった。また、特許文献２には、撮像素子の遮光された領域の映像信号からピクセル単位で動きを検出する工夫がなされているが、検出する時間周期については、従来と同じくフレーム単位の検出となっているため、十分な動き検出を行うことができなかった。
【０００６】
この他、撮像素子のスミア耐性の改善や撮像装置の絞り機構によるスミア改善など様々なスミア改善策が行われている。しかし、撮像素子の多画素化のため、センサのセルサイズが著しく小さくなってきたことで、スミア特性は逆に悪化している。また、撮像装置の絞り機構等の改善では、撮像装置が大きくなることやコストアップは避けられない。このため、スミア補正技術に対するニーズは高まっている。
【０００７】
そこで、本発明は、スミア補正時に手ぶれ補正情報を用いることで、高精度なスミア補正を行うことができる撮像装置及びそのスミア補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、撮像信号を出力する撮像素子を有し、前記撮像素子を用いて画像を撮影する撮像装置であって、前記撮像装置のぶれ量を検出するぶれ量検出手段と、前記撮像素子から出力される撮像信号のスミア量を検出するスミア量検出手段と、前記検出されたスミア量を用い、前記撮像信号の有効画像領域に対してスミア補正を行うスミア補正手段と、前記検出されたぶれ量に応じて、前記スミア補正手段によるスミア補正を制御するスミア制御手段とを備えたことを特徴とする。
【０００９】
本発明の撮像装置のスミア補正方法は、撮像信号を出力する撮像素子を用いて画像を撮影する撮像装置のスミア補正方法であって、ぶれ量検出手段が前記撮像装置のぶれ量を検出するぶれ量検出ステップと、スミア量検出手段が前記撮像素子から出力される撮像信号のスミア量を検出するスミア量検出ステップと、スミア補正手段が前記検出されたスミア量を用い、前記撮像信号の有効画像領域に対してスミア補正を行うスミア補正ステップと、スミア制御手段が前記検出されたぶれ量に応じて、前記スミア補正手段によるスミア補正を制御するスミア制御ステップとを有することを特徴とする。
【発明の効果】
【００１０】
本発明の請求項１に係る撮像装置は、撮像素子から出力される撮像信号のスミア量を検出し、ぶれ量検出手段によって検出された撮像装置のぶれ量に応じて、スミア補正を制御する。このように、スミア補正時に手ぶれ補正情報を用いることで、高精度なスミア補正を行うことができ、高品質な撮影が可能となる。
【００１１】
請求項２に係る撮像装置によれば、ぶれ量（あるいは、ぶれ量およびぶれ方向）に応じたスミア補正を行うことが可能となる。請求項３に係る撮像装置によれば、画像の像ぶれが大きい場合、つまり、角変位量が大きい場合、検出されたスミア量と画像データ内のスミア量が大きく異なるため、スミア補正を行わないことで、単にスミア補正を行って画像のＳＮが悪化することを防止できる。
【００１２】
請求項４に係る撮像装置によれば、角変位量が大きくても、パンニング状態である場合、ぶれの予測は容易であるので、スミア補正を行うことができる。請求項５に係る撮像装置によれば、ぶれ量を予測することで、高精度なスミア補正を行うことができる。請求項６に係る撮像装置によれば、撮像素子の駆動とは関係無く、加速度センサの検出結果を利用するので、手ぶれ量（撮像装置のぶれ量）を正確に算出することが可能である。
【発明を実施するための最良の形態】
【００１３】
本発明の撮像装置及びそのスミア補正方法の実施の形態について図面を参照しながら説明する。
【００１４】
［第１の実施形態］
図１は第１の実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮影レンズ１０１、ＶＡＰ（可変頂角プリズム）１０２、フォーカスレンズ１０３、撮像素子１０４、ＣＤＳ／ＡＤ１０５、スミア補正回路１０６、画像メモリ１０７、信号処理回路１０８、記録回路１０９および記録媒体１１０を有する。また、撮像装置１００は、ＶＡＰ駆動回路１１１、フォーカス駆動回路１１２、撮像部駆動回路１１３、表示回路１１４、表示装置１１５、加速度センサ１１６、ＡＭＰ１１７およびＡＤ（アナログ・デジタル変換器）１１８を有する。また、撮像装置１００は、第１スイッチ（ＳＷ１）１１９、第２スイッチ（ＳＷ２）１２０、システム制御部１２１、ＲＯＭ１２２およびＲＡＭ１２３を有する。
【００１５】
ＶＡＰ（可変頂角プリズム）１０２は、システム制御部１２１からの制御信号に従って制御されるＶＡＰ駆動回路１１１によって駆動され、ＶＡＰ１０２の頂角を所定の角度に調節して手ぶれ補正を行う。なお、本実施形態では、ＶＡＰ１０２を用いたＶＡＰ方式の手ぶれ補正を示す。しかし、この方式に限らず、既に公知となっている、浮動的に支持された補正レンズ光学系を径方向に移動させる光学シフト方式の手ぶれ補正や、撮像素子を移動させる撮像素子シフト方式の手ぶれ補正などを用いてもよい。
【００１６】
フォーカスレンズ１０３は、フォーカスレンズの位置を変えることにより、フォーカスを調節する。撮像素子１０４は、撮像レンズを通過した被写体像の光束を光電変換して電気信号に変換する。ＣＤＳ（相関二重サンプリング）／ＡＤ１０５は、撮像素子１０４から出力されたアナログ信号出力にクランプ処理、ゲイン処理等を行い、デジタル信号に変換する。
【００１７】
スミア補正回路１０６は、撮像素子１０４の光学的遮光画素であるＯＢ（オプティカルブラック）画素領域および光による感度を持たないダミー画素領域からスミア成分を検出し、このスミア成分を有効画像領域の画像データから減算してスミア補正を行う。また、スミア補正回路１０６は、システム制御部１２１からの制御に従って、有効画像領域内の任意のエリアのスミア成分を補正することも可能である。なお、スミア補正回路１０６はスミア量検出手段およびスミア補正手段に相当する。
【００１８】
信号処理回路１０８は、スミア補正が行われた画像データあるいはシステム制御部１２１からの画像データに対し、オートホワイトバランス処理、画素補間処理、色変換処理等の信号処理を行う。信号処理された画像信号は、画像メモリ１０７に記録される。画像メモリ１０７に記録された画像信号は、システム制御部１２１を介してあるいは直接に、記録回路１０９を介して取り外し可能な記憶媒体１１０に記録されたり、また、表示回路１１４に送られ、表示装置１１５で画像表示に供される。
【００１９】
システム制御部１２１は、撮影レンズ１０１内の絞りおよびシャッタを制御することによる自動露出動作（ＡＥ）と、フォーカス駆動回路１１２を制御することによるオートフォーカス動作（ＡＦ）を行う。システム制御部１２１に接続されたＲＡＭ１２３は、表示装置１１５に表示されるデータを記憶している。このデータは、表示回路１１４を介してＬＣＤ等の表示装置１１５に表示される。
【００２０】
画像メモリ１０７は、撮像した静止画像や動画像を格納し、所定枚数の静止画像や所定時間分の動画像を格納するために、十分に高速かつ大量の記憶領域を有する。これにより、複数枚の静止画像を連続して撮像する連写撮影や、複数の撮像画像を合成するパノラマ撮影の場合であっても、画像メモリ１０７に画像データを記録することが可能となる。また、この画像メモリ１０７はシステム制御部１１６の作業領域としても使用可能である。
【００２１】
表示装置１１５は、撮像した画像データを逐次表示することにより、電子ファインダとして使用される。また、表示装置１１５は、システム制御部１２１におけるプログラムの実行に応じて、任意に表示をオン／オフにする。さらに、表示装置１１５は、測距枠表示、合焦表示、非合焦の警告表示なども行う。
【００２２】
記録回路１０９は、メモリカードやハードディスク等の記憶媒体１１０とのインターフェースである。この記録回路１０９を用いて、画像データや画像データに付属した管理情報を転送し合うことができる。
【００２３】
システム制御部１２１は撮像装置１００全体の動作を制御する。システム制御部１２１に接続されたＲＡＭ１２３および／またはＲＯＭ１２２には、このシステム制御部１２１の動作用の定数、変数、プログラム等が記憶されている。
【００２４】
加速度センサ１１６は、手ぶれの角加速度信号を検出する。加速度センサ１１６で検出された手ぶれの角加速度信号はＡＭＰ１１７で増幅され、この増幅されたアナログ信号はＡＤ（アナログ・デジタル変換器）１１８でデジタル信号に変換されると、システム制御部１２１に入力する。
【００２５】
システム制御部１２１は、入力された角加速度信号を積分して角変位量を算出する。システム制御部１２１は、この算出された角変位量に応じて、ＶＡＰ１０２の頂角を調節し、手ぶれ補正を行う。例えば、ＶＡＰ１０２が縦方向および横方向に最大２．５度傾けることができる機構を有する場合、補正可能な最大角変位量は約１度となる。補正できる最大角変位量を超える場合、手ぶれ補正ができないことになる。また、システム制御部１２１は、現在の角加速度と過去の角加速度データから、ぶれ量を予測する。なお、このシステム制御部１２１によるぶれ量の予測はぶれ量予測手段に相当する。また、第１スイッチ１１９および第２スイッチ１２０は撮像開始時に操作される。
【００２６】
上記構成を有する撮像装置のスミア補正動作を示す。図２はスミア補正動作手順を示すフローチャートである。この処理プログラムはＲＯＭ１２２に格納されており、システム制御部１２１によって読み出されて実行される。
【００２７】
第１スイッチ１１９および第２スイッチ１２０が操作されたことにより撮像処理が開始されると、システム制御部１２１は、手ぶれ量である角変位量を算出する（ステップＳ１）。本実施形態では、撮像素子の駆動とは関係無く、加速度センサの検出結果を利用するので、手ぶれ量を正確に算出することが可能である。
【００２８】
システム制御部１２１は、ステップＳ１で算出された角変位量と、現在のＶＡＰ１０２の頂角の角度とから、手ぶれ補正可能であるか否かを判別する（ステップＳ２）。ここで、手ぶれ補正可能である場合とは、手ぶれ補正を光学的に行っている状態であり、撮像装置１００が手ぶれせずに静止しているのと同様の状態である。なお、ステップＳ２の処理はぶれ量判別手段に相当する。
【００２９】
手ぶれ補正可能であると判別された場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量に応じたスミア補正を行う（ステップＳ３）。この後、システム制御部１２１は、ステップＳ１の処理に戻る。
【００３０】
一方、ステップＳ２で手ぶれ補正ができない状態と判別された場合、撮影された画像がぶれている状態である。この状態は、画像データに対し、単にスミア補正を行うと画像のＳＮが悪化する状態である。このため、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量を基に、ぶれ量（あるいは、ぶれ量およびぶれ方向）に応じたスミア補正を行う（ステップＳ４）。この後、システム制御部１２１は、ステップＳ１の処理に戻る。なお、システム制御部１２１によって実行されるステップＳ２、Ｓ３、Ｓ４の処理は、スミア補正回路１０６のスミア補正を制御するスミア制御手段に相当する。
【００３１】
このように、第１の実施形態の撮像装置によれば、スミア補正時に手ぶれ補正情報を用いることで、高精度なスミア補正を行うことができ、高品質な撮影が可能となる。
【００３２】
［第２の実施形態］
第２の実施形態の撮像装置の構成は、前記第１の実施形態と同一であるので、同一の符号を用いることによりその説明を省略する。
【００３３】
図３は第２の実施形態におけるスミア補正動作手順を示すフローチャートである。この処理プログラムはＲＯＭ１２２に格納されており、システム制御部１２１によって読み出されて実行される。
【００３４】
第１スイッチ１１９および第２スイッチ１２０が操作されたことにより撮像処理が開始されると、システム制御部１２１は、手ぶれ量である角変位量を算出する（ステップＳ１１）。
【００３５】
システム制御部１２１は、ステップＳ１１で算出された角変位量と、現在のＶＡＰ１０２の頂角の角度とから、手ぶれ補正可能であるか否かを判別する（ステップＳ１２）。ここで、手ぶれ補正可能である場合とは、手ぶれ補正を光学的に行っている状態であり、撮像装置１００が手ぶれせずに静止しているのと同様の状態である。
【００３６】
手ぶれ補正可能であると判別された場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量に応じたスミア補正を行う（ステップＳ１３）。この後、システム制御部１２１は、ステップＳ１１の処理に戻る。
【００３７】
一方、ステップＳ１２で手ぶれ補正ができない状態と判別された場合、システム制御部１２１は、さらに所定時間内の角変位量が所定の移動量以下（移動量リミッタ範囲内）であるか否かを判別する（ステップＳ１４）。
【００３８】
角変位量が所定の移動量以下であった場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量を基に、ぶれ量（あるいは、ぶれ量およびぶれ方向）に応じたスミア補正を行う（ステップＳ１５）。なお、ぶれ方向が予測可能な場合においては、予測したぶれに応じてスミア補正を行ってもよい。この後、システム制御部１２１は、ステップＳ１１の処理に戻る。
【００３９】
一方、ステップＳ１４で角変位量が所定の移動量を超えていた場合、システム制御部１２１は、検出されたスミア量と画像データ内のスミア量が大きく異なるため、スミア補正を行わない（ステップＳ１６）。この後、システム制御部１２１は、ステップＳ１１の処理に戻る。なお、ステップＳ１４では、角変位量が正確に算出できないような大きな手ぶれであるか否かを判定してもよく、正確に算出できない場合においても、ステップＳ１６では、スミア補正を行わないようにする。
【００４０】
このように、第２の実施形態の撮像装置によれば、角変位量が大きい場合、検出されたスミア量と画像データ内のスミア量が大きく異なるため、スミア補正を行わないことで、単にスミア補正を行って画像のＳＮが悪化することを防止できる。
【００４１】
［第３の実施形態］
第３の実施形態の撮像装置の構成は、前記第１の実施形態と同一であるので、同一の構成要素については同一の符号を用いることにする。前述したように、加速度センサ１１６で検出された手ぶれの角加速度信号はＡＭＰ１１７で増幅され、この増幅されたアナログ信号はＡＤ（アナログ・デジタル変換器）１１８でデジタル信号に変換されると、システム制御部１２１に入力する。
【００４２】
また、システム制御部１２１は、入力された角加速度信号を積分して角変位量を算出する。さらに、システム制御部１２１は、角加速度信号から角速度を算出する。ここで、角速度が所定の範囲内で一定のままである場合、手ぶれでは無くパンニングであると考えられる。システム制御部１２１は、パンニング動作であるか手ぶれであるかを判別する。また、システム制御部１２１は、現在の角加速度と過去の角加速度データから、ぶれ量を予測する。特に、撮影状態がパンニング状態の場合、角速度が一定になっているため、ぶれ量の予測は容易である。なお、このシステム制御部１２１によるぶれ量の予測はぶれ量予測手段に相当する。
【００４３】
図４は第３の実施形態におけるスミア補正動作手順を示すフローチャートである。この処理プログラムはＲＯＭ１２２に格納されており、システム制御部１２１によって読み出されて実行される。
【００４４】
第１スイッチ１１９および第２スイッチ１２０が操作されたことにより撮像処理が開始されると、システム制御部１２１は、手ぶれ量である角変位量および角速度を算出する（ステップＳ２１）。システム制御部１２１は、ステップＳ２１で算出された角速度が所定の速度範囲内で一定のまま所定の時間続いているパンニング状態であるか否かを判別する（ステップＳ２２）。前述したように、パンニング状態である場合、容易にぶれ方向やぶれ量が予測可能である。なお、ステップＳ２２の処理は撮影状態判別手段に相当する。
【００４５】
ステップＳ２２でパンニング状態で無いと判別された場合、システム制御部１２１は、ステップＳ２１で算出された角変位量と、現在のＶＡＰ１０２の頂角の角度とから手ぶれ補正可能であるか否かを判別する（ステップＳ２３）。ここで、手ぶれ補正可能である場合とは、手ぶれ補正を光学的に行っている状態であり、撮像装置１００が手ぶれせずに静止しているのと同様の状態である。
【００４６】
手ぶれ補正可能であると判別された場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量に応じたスミア補正を行う（ステップＳ２４）。この後、システム制御部１２１は、ステップＳ２１の処理に戻る。
【００４７】
一方、ステップＳ２２でパンニング状態である状態、あるいはステップＳ２３で手ぶれ補正ができない状態と判別された場合、システム制御部１２１は、さらに所定時間内の角変位量が所定の移動量以下であるか否かを判別する（ステップＳ２５）。
【００４８】
角変位量が所定の移動量以下（移動量リミッタ範囲内）であった場合、システム制御部１２１は、撮影された画像データに対し、検出されたスミア量を基に、ぶれ量（あるいは、ぶれ量およびぶれ方向）に応じたスミア補正を行う（ステップＳ２６）。パンニング状態である場合、予測したぶれに応じてスミア補正を行うことは容易である。この後、システム制御部１２１は、ステップＳ２１の処理に戻る。
【００４９】
一方、ステップＳ２５で角変位量が所定の移動量を超えていた場合、システム制御部１２１は、検出されたスミア量と画像データ内のスミア量が大きく異なるため、スミア補正を行わない（ステップＳ２７）。この後、システム制御部１２１は、ステップＳ２１の処理に戻る。なお、ステップＳ２５では、角変位量が正確に算出できないような大きな手ぶれであるか否かを判定してもよく、正確に算出できない場合においても、ステップＳ２７では、スミア補正を行わないようにする。
【００５０】
このように、第３の実施形態の撮像装置によれば、角変位量が大きくても、パンニング状態である場合、ぶれの予測は容易であるので、スミア補正を行うことができる。
【００５１】
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【図面の簡単な説明】
【００５２】
【図１】第１の実施形態における撮像装置１００の構成を示すブロック図である。
【図２】スミア補正動作手順を示すフローチャートである。
【図３】第２の実施形態におけるスミア補正動作手順を示すフローチャートである。
【図４】第３の実施形態におけるスミア補正動作手順を示すフローチャートである。
【符号の説明】
【００５３】
１００  撮像装置
１０２  ＶＡＰ
１０４  撮像素子
１０６  スミア補正回路
１１６  加速度センサ
１２１  システム制御部
【図１】
2009027627.tif 000003
【図２】
2009027627.tif 000004
【図３】
2009027627.tif 000005
【図４】
2009027627.tif 000006